Tóth József Mosonmagyaróváron született, ott kezdett futballozni, 1969-ben Pécsre, majd 1975-ben Újpestre került. Utóbbi együttesben 1984-ig szerepelt, 268 mérkőzésen három gólt szerzett, a lila-fehérekkel kétszer volt bajnok (1977/78, 1978/79) és kétszer nyert Magyar Kupát (1982, 1983).
A labdarúgó 1984 és 1986 között az MTK-VM színeiben szerepelt az élvonalban, majd a finn IF Kraft csapatában fejezte be karrierjét. A finn bajnoki szünet idején - 1986 novemberétől - az Erzsébeti SMTK színeiben játszott az NB III-ban.
Tóth József a magyar válogatottban 56 alkalommal lépett pályára 1974 és 1983 között és egy gólt szerzett, tagja volt az 1978-as argentínai és az 1982-es spanyolországi világbajnokságon szereplelt csapatnak.
Az UTE közösségi oldalának tájékoztatása szerint Tóth József temetéséről a családdal egyeztetve később intézkednek.
Az újpestiek a közelmúltban veszítették el Tóth József ugyancsak válogatott csapattársait, Törőcsik Andrást és Kardos Józsefet.