Cucu, ahogy a nagymamája, majd később a szurkolók is becézték, Kispest munkásnegyedében nőtt fel. A család szegény volt, ő kifutófiúként járult hozzá megélhetésükhöz, s amikor csak tehette, legjobb barátjával, a szomszédban lakó Puskás Ferenccel rúgták a grundon a rongylabdát.
Tehetségére hamar felfigyeltek, már tizenegy éves korában leigazolta a Kispesti Atlétikai Club, első felnőtt bajnoki mérkőzését 1943-ban játszotta a Vasas ellen. A második világháború végén katonaszökevény bátyjával bujkált, később a szovjetek akarták malenkij robotra vinni, de sikerült megszöknie.
A politikai változások miatt 1949-től Budapesti Honvéd néven szereplő Kispestben bontakozott ki tehetsége. A csapat a hamarosan világverő magyar Aranycsapat gerincét alkotta, az 1950-es évek első felében túlzás nélkül a világ legjobb klubcsapatának számított, a magyar bajnokságot például 1952-ben veretlenül nyerte.
Bozsik a klubhűség megtestesülése volt, soha nem játszott másik egyesületben: csaknem két évtized alatt 447 bajnoki mérkőzésen szerepelt, 33 gólt szerzett és ötszörös magyar bajnok lett. Érdekesség, hogy a sportsajtóban Bozsik II. néven is említették, mert bátyja, az 1952-ben elhunyt Bozsik István egy ideig a Kispest csapatának kapusa volt.
Tökéletes labdakezelés, nagyszerű rúgótechnika, kivételes játékintelligencia, helyzetfelismerés és irányítóképesség jellemezte játékát. Jobbfedezet posztjáról negyven-ötven méteres, mindig pontos, tért ölelő átadásokkal hozta helyzetbe társait, elsősorban barátját, Puskás Öcsit, akivel szavak nélkül is értették egymást. Fénykorában őt tartották a világ legjobb támadó fedezetének, ő volt az első klasszikus középpályás. Nem volt igazán gyors, de rendkívül jó helyezkedéssel, mozgékonyságával és lendületességével hozta zavarba az ellenfél védelmét.
Huszonkét éves korában került a világverő magyar válogatottba, amelyben 1947. augusztus 17-én a bolgárok ellen mutatkozott be. Az Aranycsapattal megnyerte az 1952-es, helsinki olimpiát, a döntőben a jugoszlávokat 2-0-ra legyőzve hozták el az aranyérmet társaival, 1952-ben ő lett az év játékosa. Emlékezetes gólt lőtt 1953. november 25-én az angoloknak a Wembley Stadionban játszott és 6-3-ra megnyert évszázad mérkőzésén. Ekkor jegyezte meg egy fanyar humorú újságíró, hogy "ez a képviselő megérdemelné, hogy miniszterelnök legyen". Bozsik ugyanis ekkor parlamenti képviselő volt.
Az 1954-es, svájci világbajnokságon a toronymagasan esélyes magyar válogatott meglepetésre csak második lett, az NSZK ellen 3-2-re elvesztett döntő a várt ünnep helyett nemzeti gyásznappá vált Magyarországon.
Az 1956-os forradalom idején a Honvéd illegális dél-amerikai túrán járt, amelyen a játékosok többsége úgy döntött, hogy külföldön folytatja pályafutását. Bozsik hazajött, pedig kapott ajánlatot Spanyolországból, tovább játszott a Honvédban és a nemzeti tizenegyben. Tagja volt az 1958-as svédországi világbajnokságon tizedik helyen végzett válogatottnak, 1959-ben a Honvéddal megnyerte a Közép-európai-kupát.
A válogatottól 1962-ben, harminchét évesen az Uruguay elleni 1-1-es mérkőzésen búcsúzott. Magyarországon elsőként ő érte el a százszoros válogatottságot, halála után két évtizeddel, 2000-ben 101-szeres válogatott lett - szerepelt ugyanis 1958-ban egy Libanon elleni mérkőzésen, amely addig nem hivatalos találkozónak számított. Rekordját Király Gábor állította be idén. Válogatott mérkőzésein 11 gólt szerzett.
Visszavonulása után is kirakatban maradt: a Honvéd szakosztályvezetője volt, 1966-ban és 1967-ben edzőként 47 alkalommal ült a csapat kispadján. Egyetlen mérkőzésen, 1974-ben Bécsben a magyar válogatottat is irányította szövetségi kapitányként. Korai halálát szívelégtelenség okozta 1978. május 31-én.
Bozsik József pályafutása során rengeteg elismerésben részesült. A Honvéd játékosaként hivatásos katonatiszt lett, 1950-ben századossá léptették elő, 1953-ban országgyűlési képviselővé választották, a rendszer kivételezettjei közé tartozott. Katonai rendfokozatától, kitüntetéseitől és mandátumától 1957-ben a Honvéd illegális túrája miatt megfosztották. 1996-ban posztumusz ezredessé léptették elő.
A válogatott oszlopaként, a szurkolók kedvenceként, az egyetlen százszoros válogatottként azonban ezután is biztos egzisztenciát mondhatott magáénak. 2000-ben Kispest és 2013-ban Budapest posztumusz díszpolgára címben részesült, 1986 óta nevét viseli a Budapest Honvéd stadionja.
Róla nevezték el a szőnyi általános iskolát, a Nyíregyháza labdarúgó akadémiáját és a labdarúgó utánpótlás-programot. Fia, Bozsik Péter maga is labdarúgó, majd edző lett, 2006-ban szövetségi kapitánnyá is kinevezték. A magyar labdarúgás történetében addig még nem volt példa arra, hogy apa és fia is üljön a válogatott kispadján.