Első filmes szerepét egy B kategóriás filmben kapta, ami azért már főszerep volt. Sikeres karrierindítás volt a The Cry Baby Killer, amelyben Jack egy zaklatott lelkű tinédzsert alakított, de a film producere, Roger Corman akkor úgy látta az ifjú színészt, mint aki nem annyira magabiztos: "Lángolt és lobogott, de nem hitte, hogy valaha is el fogják ismerni." Nem így történt. A hatvanas évek végére már 20 filmben szerepelt, túl volt két sikeres forgatókönyv megírásán, és szerződése volt első filmje megrendezésére. Aztán 1968-ban, amikor Rip Torn otthagyta a Szelíd motorosok egyik főszerepét, Jack vette át a helyét. Filmbeli karaktere, amit mesterien valahová az illúzióvesztettség és a hűvös cinizmus közé spékelt be színészi játékával, a korszellem által diktált közhangulat pontos megjelenítőjévé sikeredett. A többi innen már történelem.
Pár éven belül színészi karrierje már el is érte csúcspontját. Sokoldalú színésszé vált, aki filmről filmre vált egyre jobbá. Bukott angyalok megtestesítőjeként lett a legnépszerűbb: az 1970-es Öt könnyű darab önpusztító életmódot élő művészeként, az 1975-ös Száll a kakukk fészkére legyőzött lázadójaként, amiért elnyerte méltán megérdemelt Oscar-díját vagy az 1983-as Becéző szavak elfelejtett űrhajósaként, amiért a legjobb férfi mellékszereplő kategóriában lett nyertes. Sokan azonban a Roman Polanski 1974-es mesterművében, a Kínai negyed-ben nyújtott alakítását tartják a legnagyobbnak.
Éppen a Kínai negyedforgatása közben történt, hogy az újságokból tudomást szerzett igazi magánéletéről: a nő, akit anyjának hitt, tulajdonképpen a nagyanyja volt, a nővére pedig az igazi anyja. Összeomlott, de hamar összeszedte magát. A lelki válságnak "csupán" annyi nyoma maradt életében, hogy a mai napig is enyhe gyűlölettel viseltetik a női nem iránt. 1990-ben, 17 évnyi együttélés után vége szakadt Angelica Houston színésznővel való viszonyának, miután kitudódott, hogy időközben Rebecca Broussard színésznőtől gyereke született. Angelica kilépett az életéből, Rebecca viszont maradt, és két év múlva megszületett fiuk, Raymond. 1999-ben váltak külön.
Az 1980-as években Nicholson egy sor szokatlan karakterű filmfigurát választott eljátszásra. Sátánian jó választásnak bizonyult az 1987-es Eastwicki boszorkányok-ban, majd elnyerte második Oscarját, a legjobb főszereplőnek járót, az 1997-es Lesz ez még így se! aszociális írójának megszemélyesítéséért. Ekkortájt kapta a kritikát, hogy elhanyagolja a komolyabb szerepeket, pedig ő csupán öniróniát gyakorolt. Lehet, hogy a Batmanfilm Jokere, ami 60 milliót hozott a konyhájára, éppen egy ilyen szerep volt? Talán, talán nem, a Sean Penn által rendezett 2001-es Az ígéret megszállottjá-ban azonban bebizonyította, hogy nem felejtett el játszani. Igazi szerepeket, igazi filmekben. 1996-ban azt nyilatkozta, hogy ma sokkal jobb, mint pályája elején volt, és még mindig van mit tanulnia.