1925. november 28-án született Budapesten. A szegény családból származó tehetséges fiú a kispesti grundon, egy üres gyártelken rúgta a rongylabdát, közben kifutófiúként járult hozzá a család megélhetéséhez. A sport jelentette számára az egyedüli kitörési lehetőséget, s 1943-ban be is került a Kispest profi csapatába.
1947-ben lett válogatott, a csapat első meccsén 9-0-ra győzött a bolgárok ellen. Bozsik ekkor már kiforrott játékos volt, vakmerő dolgokat művelt a pályán, a labdarúgás valóságos művészének tartották. Hihetetlenül pontos labdavezetése és rúgástechnikája, kivételes játékintelligenciája, helyzetfelismerése kiemelte kortársai közül. Ő volt az első klasszikus középpályás, korának legjobb támadó jobbfedezete, akit a közönség csak Cucunak becézett.
A Sebes Gusztáv szövetségi kapitány irányította Budapesti Honvéddal, ahol a világverő magyar válogatott gerince is játszott, sorra nyerték a bajnokságokat. Az Aranycsapat (Grosics Gyula, Buzánszky Jenő, Lóránt Gyula, Lantos Mihály, Bozsik József, Zakariás József, Budai László, Kocsi Sándor, Hidegkuti Nándor, Puskás Ferenc és Czibor Zoltán) megnyerte az 1952-es olimpiát, a döntőben a jugoszlávokat 2:0-ra legyőzve hozták el az aranyérmet.
Bozsik emlékezetes gólt lőtt 1953. november 25-én a londoni Wembley-stadionban az angolok ellen "az évszázad mérkőzésén", ekkor jegyezte meg egy fanyar humorú újságíró: "Ez a képviselő megérdemelné, hogy miniszterelnök legyen!" (Bozsik ugyanis ekkor parlamenti képviselő volt.)
Az 1954-es világbajnokságon a magyar válogatott második lett, az NSZK ellen 3:2-re elvesztett döntő a várt ünnep helyett nemzeti gyásznap lett Magyarországon. Bozsiknak sikerült talpra állnia, az 1955-1956-os aranylabda-szavazáson 6. helyen végzett. Az 1956-os forradalom után itthon maradt, a Honvédot soha sem hagyta cserben. 1958-ban a svédországi vb-n is szerepelt, méghozzá a csatársorban.
A válogatottól 1962-ben harminchét évesen, az Uruguay elleni 1:1-es mérkőzésen búcsúzott. Magyarországon egyedül ő érte el a 100-szoros válogatottságot, s ezalatt 11 gólt lőtt. Sőt, 2000-ben kiderült, hogy tulajdonképpen 101-szeres válogatott, mivel a magyar nemzeti csapat 1958-ban játszott egy olyan mérkőzést (Libanon ellen 4:1-es győzelem Bejrútban), ami addig nem hivatalos találkozóként szerepelt a statisztikákban.
Visszavonulása után a Honvéd szakosztályvezetője, majd edzője volt, 1974-75-ben szövetségi kapitány is volt. Korai halálát szívelégtelenség okozta 1978. május 31-én. 1996-ban posztumusz ezredessé léptették elő, s nevét viseli a Budapest Honvéd stadionja.