Carter egyike volt azoknak az amerikai fekete muzsikusoknak, akik meg tudták törni Hollywood ellenállását a színes bőrű zeneszerzőkkel szemben. Quincy Jones mondta róla, hogy "az ő vállain" jutottak be a fekete zenészek az őket megillető helyre. Benny Carter hét évtizedes pályafutása során a műfaj legnagyobb alakjaival játszott, a swingzenészektől a modernekig.
1907-ben született New Yorkban, zongorázni tanult, később azonban a szaxofon mellett kötött ki, de a komponálás, a hangszerelés szenvedélyét még első szerelmének köszönhette. A big band-hangzás megújítója volt, ezért későbbi zenekaraiban egymás után szerepeltek kiváló szólisták, akik közül többen a jazz meghatározó alakjai lettek, mint Teddy Wilson zongorista, Dizzy Gillespie és Miles Davis trombitások vagy Max Roach dobos. Davis egyenesen "zeneiskolának" nevezte Cartert.
Ő volt az első, aki a 30-as évek közepén Hollandiában megalakította az első nemzetközi, fehérekből és feketékből álló zenekart, ő szerezte a Magyarországon is vetített Sidney Poitier-film, a Buck és a prédikátor zenéjét, és számos más film muzsikáját is jegyezte.
Magas kora ellenére Benny Carter még a 90-es években is aktív volt, lemezfelvételei készültek, és egy alkalommal a Fehér Házban is fellépett: együtt szaxofonozott Bill Clinton elnökkel.