Balla József 1955-ben született a Csongrád megyei Szőregen. A helyi Rákóczi SE-ben kezdett birkózni, 1971-ben Szegedre, 1973-ban pedig a Ferencvároshoz került. Az 1976-os montreali és az 1980-as moszkvai olimpián is második lett a szabadfogás plusz 100 kg-os kategóriájában. Az 1983-as budapesti Európa-bajnokságon aranyérmet nyert.
Tizenhárom évig, 1974-től 1987-ig volt meghatározó tagja a válogatottnak, ezidő alatt az Eb-győzelmen és az olimpiai helyezéseken kívül háromszor végzett Eb-n (1975, 1978, 1981) és egyszer vb-n (1985) a második helyen, s szerzett egy vb-bronzot is (1977).
Visszavonulása után edzőként dolgozott, 1997-től 2000. december 31-ig, tehát a sydneyi olimpián is, a válogatottat irányította szövetségi kapitányként.
Balla Józsefet a Magyar Birkózó Szövetség, a Magyar Olimpiai Bizottság és Kecskemét város önkormányzata saját halottjának tekinti. A kitűnő sportolót és szakembert március 25-én, 13.30 órakor helyezik örök nyugalomra a kecskeméti köztemetőben.