Legrand énekesek zongorakísérőjeként és dalok feldolgozójaként kezdte a pályafutását, majd az 1960-as években már filmzenéket komponált.
Legrand szerezte a Cherbourgi esernyők és A rochefort-i hölgyek című musicalek zenéjét, akárcsak a Szamárbőr című filmét. Ez utóbbi színdarabjának betétdalait is ő komponálta.
Háromszor nyerte el az amerikai filmakadémia díját: 1969-ben A Thomas Crown-ügy Les moulins de mon coeur (Szívem malmai) című betétdalt díjazták Oscarral, majd A kamaszkorom legszebb nyarával 1972-ben és a Yentl című filmmel 1984-ben nyerte el a legjobb filmzenéért járó Oscart.
Legrand 86 évesen, Párizsban halt meg.