Minneapolisban praktizáló ügyvéd apja 1904-ben felhagyott szakmájával, és Oklahomában, az olajiparban próbált szerencsét. Két év alatt csinos vagyonra tett szert, ezután családjával Kaliforniába költözött. Fia a Dél-Kaliforniai és a Berkeleyi Egyetemen, majd az angliai Oxfordban folytatott közgazdasági és politológiai tanulmányokat, nyaranta apja olajfúrótornyainál segédmunkásként dolgozott.
Getty 1914-ben diplomázott, és rövid európai körút után apja pénzügyi támogatásával igyekezett megvetni lábát az olajüzletben.
A nagy társaságok területeiről távol kutatott: két év múlva olajra bukkant, és megszerezte első millióját.
Rögvest vissza is vonult az üzlettől, a pénzt gazdag playboyként Los Angelesben szórta szét. Apja már ezt is rossz szemmel nézte, amikor azonban Getty a húszas években nőügyeivel került be a sajtóba, gyors egymásutánban háromszor is megházasodott és elvált, végleg megrendült bizalma fiában és 1930-ban bekövetkezett halálakor tízmillió dolláros vagyonából csak félmilliót hagyott rá.
Getty oklahomai érdekeltségéről készült felvétel az 1920-as évek második felében:
A kiváló üzleti vénával megáldott Getty számára ez már csak aprópénz volt, hiszen egymás után fedezte fel a gazdag olajlelőhelyeket, és a fúrótornyok bérbeadásából is csinos összeg hizlalta bankszámláját. Jóllehet apja halálakor azt jövendölte, hogy fia tönkreteszi az általa felépített céget, aggodalma alaptalannak bizonyult. A Getty Oil Company elnöki tisztét átvéve a gazdasági válság idején is terjeszkedett, részesedést vásárolt az egyik legnagyobb kaliforniai olajtársaságban, majd újabb és újabb riválisait vásárolta fel. Arra törekedett, hogy vállalkozása magába foglalja az olajfúrást, a finomítást, a szállítást és az értékesítést is.
Vállalkozása a harmincas években már a Shell, az Exxon és a Texaco súlycsoportjába tartozott, a legnagyobb olajcégek ellenfelének számított.
Ekkor még csak az Egyesült Államokban terjeszkedett, a második világháború után azonban a Közel-Keletet is megcélozta. 1949-ben hazárdjátékot űzve megszerezte Szaúd-Arábiában egy olyan kopár terület kitermelési jogait, ahol addig még nem találtak olajat. Getty kockáztatott és nyert: négy év kutatómunka és 30 millió dollár befektetése után hatalmas kiterjedésű olajmezőre bukkant, a lelet egy csapásra milliárdossá tette.
1957-ben a Forbes magazin listáján ő volt a leggazdagabb amerikai, 1966-ban a Guinness Rekordok Könyvében a világ leggazdagabb magánszemélyének nevezték.
Már életében legendának számított, Hogyan gazdagodjunk meg című önéletírása bestsellernek bizonyult.
Érdekes módon az egykori playboy vagyonának növekedésével lett egyre fukarabb. Már a világ leggazdagabb embere volt, amikor érmés telefonfülkét állítatott fel a hozzá látogató vendégek számára, hogy csökkentse telefonszámláját, az irodájában pedig újrahasznosíttatta a használt borítékokat.
Családi életét tragédiák árnyékolták be, így irigyei megkönnyebbülten vehették tudomásul, hogy a pénz tényleg nem boldogít. Ötször házasodott, minden frigye válással végződött; öt fiából kettőt még életében elvesztett, de a többivel sem volt felhőtlen a kapcsolata. Unokáját, a sorban harmadik J. P. Gettyt 1973-ban elrabolták, és nagyapja csak akkor volt hajlandó kifizetni a váltságdíjat, amikor a bűnözők elküldték neki a fiú egyik levágott fülét.
Getty az 1950-es években Angliába költözött, és haláláig egy felbecsülhetetlen értékű bútorokkal berendezett Tudor-kori udvarházban lakott. A kertekkel, medencékkel tarkított birtok valóságos erődítménnyé alakult, a házőrzőkhöz a kutyák mellett két oroszlán is tartozott.
A mágnás szenvedélyes műgyűjtő volt, az általa 1953-ban létrehozott alapítvány ma is a világ egyik leggazdagabb művészetekkel foglalkozó intézménye, amely a J. P. Getty Múzeumot és az ugyancsak róla elnevezett kutatóintézetet működteti.
A múzeum alapját kollekciója jelenti, amelyben a reneszánsztól a posztimpresszionizmusig számos mester művei, így Canaletto és Mantegna festményei, Dürer és Leonardo da Vinci rajzai, Rembrandt és Monet, Degas és Van Gogh képei ugyanúgy megtalálhatók, mint spanyol-mór edények, antik bútorok, ritka kéziratok.
A milliárdos 1976. június 6-án halt meg angliai birtokán.
A Getty Oil a 80-as évek végén került a Texaco tulajdonába, ez volt az egyik legnagyobb értékű tulajdonosváltás az Egyesült Államok történetében.
Egyik unokája, Mark Getty alapította és vezeti a világ egyik, ha nem legnagyobb fotóügynökségét, a Getty Images céget.