A Frazier család az ötvenes évek elején vett egy fekete-fehér televíziót, a környékbeliek pedig rendszeresen hozzájuk jártak bokszmeccseket nézni. Az 1944-es születésű Joe Frazier olyan klasszisokat láthatott a tévén keresztül, mint Sugar Ray Robinson, Rocky Marciano és Rocky Graziano, a meccsek után pedig kiment a hátsó udvarra, és próbálta utánozni a sztárokat. Bokszzsák hiányában a fák törzsét ütötte úgy, hogy a kezére húzta apja nyakkendőjét vagy anyja harisnyáját. Kivételes fizikális adottságai egészen fiatalon megmutatkoztak, az általános iskolában például szendvicseket és negyeddollárosokat adtak neki az osztálytársak azért, hogy védje meg őket az idősebbektől, vagy egyszerűen csak azért, hogy hadd lógjanak vele az udvaron.
Tizenötévesen bátyja után ment New Yorkba, dolgozni kezdett, és egyre komolyabban vette az ökölvívást, aminek 1962-ben meg is lett az eredménye, amikor megnyerte az amerikai bajnokságot. Ezt a következő két évben megismételte, majd az 1964-es tokiói olimpián aranyérmes lett, egy évvel később pedig profinak állt. Amatőrként csupán egy vereséget szenvedett el.
Első profi meccsén, 1965 augusztusában az első menetben kiütötte Woody Gosst, ebben az évben még háromszor bokszolt, mindhárom meccsét kiütéssel nyerte, három menetnél tovább egyik sem tartott. A következő években is sorra nyerte a meccseit, 1967-ben pedig a világ akkori legjobb bunyósa, Muhammad Ali megtagadta a katonai szolgálatot, ezért elvették tőle a Bokszvilágtanács (WBC) nehézsúlyú világbajnoki övét, az új bajnok Frazier lett a WBC-nél, akárcsak a Boksz Világszövetségnél (WBA). Ekkor már Fraziert is egyértelműen a legjobbak között tartották számon, sorozatban védte meg az öveit, az addig verhetetlen George Chuvalót például úgy kiütötte, hogy többórás arcműtétet kellett végrehajtani a kanadai bunyóson, félelmetes balhorgaitól minden ellenfele rettegett.
Tizenkettedik címmeccsén, 1971-ben nyújtotta pályafutása legjobb teljesítményét, amikor először csapott össze Muhammad Alival. Akkor már súlycsoportoktól függetlenül a legjobb ökölvívónak tartották, de minden kétséget kizáróan ez volt az a meccs, ami "hivatalosan" is eldöntötte, hogy ki a világ legjobb bokszolója, az évszázad meccsének harangozták be. A 29 éves Ali mind a 31 meccsét megnyerte előtte, 25-öt KO-val, a 27 éves, szintén veretlen Frazier pedig 26 győzelemmel és 23 KO-val várta az összecsapást. Fejenként 2,5 millió dollárt kaptak a meccsért, amit szinte végig Frazier irányított. A hároméves kényszerszünet után visszatért Ali jobbára csak védekezett, Frazier félelmetes balhorgai rendre betaláltak, Ali pedig nem tudott a gyorsaságára építeni, egyhangú pontozással, 15 menetben Frazier legyőzte Alit.
Frazier-Ali (Frazier zöld nadrágban):
Azokban az években vitathatatlanul ő volt a világ legünnepeltebb ökölvívója, megvédte még kétszer a címét, 1973 januárjában azonban, 29 győztes meccsel a háta mögött George Foreman következett, aki hatalmas meglepetésre véget vetett a veretlenségének. A nála öt évvel fiatalabb Foreman már az első menetben padlóra küldte, a másodikban pedig kiütötte őt.
Frazier-Foreman (Frazier fehér nadrágban)
A hihetetlen akaratáról is elhíresült, Smokin' Joe-nak becézett Frazier minden erejével azon volt, hogy visszatérjen a csúcsra, ezért 1974-ben másodszor is összecsapott a korszak másik nagy alakjával, Alival. A találkozónak nagyobb volt a füstje, mint a lángja, Ali sokkal jobb formában volt, mint az előző meccsükön, és egyhangú pontozással győzött.
Frazier azonban ekkor is felállt a padlóról, Jerry Quarryt és Jimmy Ellist is kiütötte, és ismét ő lett a hivatalos kihívója Alinak, aki Foreman legyőzésével nyerte vissza a világbajnoki címet. Ez a harmadik meccs volt Frazier utolsó esélye, hogy ismét a világ trónjára üljön, a találkozó a "manilai mészárlás" néven került be a történelemkönyvekbe, szinte agyonverte egymást a két legenda. A tizennegyedik menetben Ali padlóra került, és egyébként is Frazier állt nyerésre, de annyira rossz állapotban volt, hogy az edzői úgy döntöttek, nem engedik ki az utolsó menetre, így Ali nyert. A városi legendák szerint Aliék sarkából is be akarták dobni a törölközőt, de megelőzték őket.
Frazier-Ali (kék nadrágban):
Joe Frazier még adott magának egy utolsó esélyt a visszakapaszkodásra, 1976-ban még egyszer kesztyűt húzott Foreman ellen, annyi különbség volt a korábbi meccsükkel ellentétben, hogy most nem a második, hanem az ötödik menetben ütötté ki. Frazier ezután bejelentette visszavonulását. Ebben az évben feltűnt a Rocky című nagy sikerű filmben, majd szakkomentátorként kezdett el dolgozni.
Frazier a Rockyban:
Az egyik mérkőzés után, 1981-ben élőben bejelentette, hogy visszatér, a mind a 16 meccsét megnyerő Floyd Cummings volt az ellenfele, a tízmenetes összecsapás végén 100-100, 100-100, 100-99-es pontozással döntetlen lett az eredmény, Frazier pedig végleg visszavonult. A Hírességek csarnokába is beválasztott bunyós 32 győzelemmel, négy vereséggel, egy döntetlennel és 27 KO-val fejezte be a karrierjét.
Pályafutása alatt rengeteg pénzt verekedett össze, és mivel gondolt a sportolói pályafutása utáni időre is, nem voltak megélhetési gondjai, ingatlanokat vásárolt, és nyitott egy boksziskolát, ahol edzőként dolgozott. Visszavonulásával nem ért véget Muhammad Alival való rivalizálása, folyamatosan beszólogattak egymásnak, 1996-ben például, amikor az atlantai olimpián Ali gyújtotta meg a lángot, Frazier azt mondta, hogy legszívesebben beledobná őt az általa meggyújtott tűzbe.
Frazier jó barátságot ápolt Mike Tysonnal
Többször is megformálták Fraziert az Egyesült Államokban nagy sikerrel futó rajzfilmben, a Simpson családban, és az egyik legnépszerűbb számítógépes bokszjáték, a Fight Night-sorozat minden részében az egyik legjobb mutatókkal rendelkező bokszolóként szerepel.
Idén november ötödikén jelentették be, hogy májrákkal kezelik, november hetedikén, 67 évesen hunyt el. "A világ egy nagy bajnokot veszített el. Mindig tisztelettel és csodálattal fogok emlékezni rá. Sokat gondolok a családjára és a barátaira, kitartást kívánok nekik ezekben a nehéz pillanatokban" - nyilatkozta egykori legnagyobb ellenfeléről Muhammad Ali.