1912-ben született Fiumében. Eredeti neve Csermanek. Édesanyja cselédként dolgozott, de a gyermek születése után elbocsátották. Ezután fiát a Somogy megyei Kapolyra adta nevelőszülőkhöz, majd 1918-ban Budapestre költöztek. Csermanek János itt végezte el az elemi és a polgári iskolát. Ezt követően írógépműszerész-tanonc lett, 1930-ra tanulta ki a szakmát, és néhány hónapig segédként dolgozott a műhelyben. 17 évesen a Vasas Szakszervezet ifjúsági csoportjának lett a tagja, majd 1931-ben belépett az illegális Kommunista Ifjúmunkások Magyarországi Szövetségébe (KIMSZ) és a Kommunisták Magyarországi Pártjába. Mozgalmi fedőneve Barna János lett. 1931 novemberében letartóztatták, és bár bizonyítékok hiányában szabadon engedték, rendőrségi megfigyelés alá helyezték. 1933-ban a KIMSZ KB titkára lett. Ekkor újra letartóztatták és októberben kommunista szervezkedésért két év fegyházbüntetésre ítélték. Az év végén - a rendőrségen tanúsított magatartása miatt - a KIMSZ kizárta soraiból. A börtönévek alatt ismerkedett meg számos büntetését töltő kommunistával, pl. Rákosi Mátyással is.
Szabadulása után több helyen is dolgozott segédmunkásként, és bekapcsolódott a Szociáldemokrata Párt munkájába. Rövidesen az SZDP VI. kerületi szervezetének lett a tagja, 1940-ben pedig az SZDP VB Ifjúsági Csoportjának a vezetője. 1941 tavaszán a KMP Budapesti Területi Bizottság tagja, 1942 májusától a KMP KB tagja, 1942 decemberétől KB titkár és 1943 februárjában vezető titkár lett. Ekkor új nevet kapott a mozgalomban: Kádár János. A Kommunista Internacionálé feloszlatása után 1943 júniusában feloszlatta a KMP-t és megszervezte a Békepártot. 1944 áprilisában Jugoszláviába küldték, hogy felvegye a kapcsolatot az emigrációban élő kommunista vezetőkkel, azonban a határon elfogták. Valódi kilétét sikeresen eltitkolva katonaszökevényként emeltek vádat ellene, és két év börtönre ítélték. 1944 novemberében megszökött és visszatért Budapestre. Budapest ostroma után a "budapesti" KB kinevezte Budapest rendőrfőnökének a helyettesévé. 1945 januárjában a fővárosba érkező Gerő Ernő vette át tőle a vezető titkári tisztet. Áprilisban megválasztották az MKP KV tikárává, az MKP Budapesti Területi Bizottságának titkárává és az MKP KV Káder Osztályának vezetőjévé, majd májusban az akkor létrehozott Politikai Bizottság tagjává. 1946-tól az MKP, később az MDP főtitkárhelyettese. Főtitkárhelyettesi beosztását, MKP ill. MDP KV és PB tagságát letartóztatásáig, 1951-ig tartotta meg.
1948 és 1950 júniusa között belügyminiszterként jelentős szerepe volt a Rajk-per megrendezésében. 1950 májusától az MDP KV Szervező Bizottság tagja, valamint a Párt- és Tömegszervezeti Osztályának vezetője. 1951 tavaszán az ÁVH letartóztatta, és az MDP KV májusi ülésén minden testületi tagságtól megfosztották. A Legfelsőbb Bíróság 1952 decemberében életfogytiglani szabadságvesztésre ítélte. 1954 júliusában rehabilitálták és szabadlábra helyezték. Az MDP XIII. kerületi pártbizottság titkára, majd 1955 szeptemberétől az MDP Pest Megyei Pártbizottság első titkára lett. Az MDP KV 1956. júliusi plénumán visszavették a testületbe, és megválasztották PB tagnak, valamint a KV másodtitkárának. 1956. október 25-én az MDP KV első titkárává választották. Az október 26-i MDP KV ülésén a PB helyett életre hívott Direktórium tagja lett. Október 28-án az akkor választott MDP Elnökségének elnöke lett. A Minisztertanácson belül október 30-án létesült Kormány Kabinet tagjává és államminiszterré nevezték ki. Október 31-én az alakuló MSZMP Intéző Bizottság tagja lett.
November 1-jén Münnich Ferenccel együtt átállt a szovjetekhez, és elhagyta Magyarországot. November 2-4. között Moszkvában részt vett az SZKP KB Elnökségének ülésein, a szovjet vezetés őt nevezte ki az ellenkormány élére. November 4-én rádióközleményben jelentette be a Magyar Forradalmi Munkás-Paraszt Kormány megalakulását, s a nap folyamán szovjet katonai géppel vitték Szolnokra. November 7-én a szovjet hadsereg Budapestre szállította, és Dobi István kinevezte a Minisztertanács elnökévé. 1957. február 26-án az MSZMP Ideiglenes Központi Bizottsága elnökévé választották. Az 1957 júniusi országos pártértekezleten az MSZMP KB első titkárává, a PB tagjává választották. 1958. január 28-án lekököszönt a Minisztertanács éléről és államminiszter lett. 1961. szeptember 13-tól ismét a Minisztertanács elnöke 1965. június 30-ig. Az MSZMP KB első titkári tisztét 1985-ig töltötte be. 1985 és 1988 között az MSZMP KB főtitkára volt. Az 1988-as országos pártértekezleten kimaradt az MSZMP PB-ből, de ugyanakkor az MSZMP elnökévé választották. Az MSZMP KB 1989. májusi tanácskozásán - egészségi állapotára hivatkozva - felmentették KB tagságából és pártelnöki tisztéből. Hosszú betegség után 1989. július 6-án halt meg.