Mielőtt rendezőként bemutatkozott, vágóként dolgozott, például Stanley Kubrick Lolita és Dr. Stangelove című filmjein. Ugyancsak ő vágta Martin Ritt A kém, aki a hidegből jött című hidegháborús klasszikusát.
A hatvanas évek második felétől már rendezőként tevékenykedett, legnagyobb sikerét Az oroszlán télen című, XII. századi háborús drámával aratta. A Katherine Hepburn, Peter O'Toole és Anthony Hopkins főszereplésével készült filmet rendezői Oscarra is jelölték.
Bár Harvey végül nem kapta meg a díjat, a film így is három aranyszobrot nyert: legjobb filmzene (John Barry), legjobb színésznő (Hepburn, megosztva Barbra Streisanddal) és legjobb adaptált forgatókönyv (James Goldman).
Utolsó mozifilmjét 1984-ben készítette. A végső megoldás című fekete komédiában Katherine Hepburnt és Nick Nolte-t rendezte.