Neumann János 1903. december 28-án született Budapesten, jómódú nagypolgári család sarjaként. Édesapja, Neumann Miksa ügyvéd a Magyar Hitel- és Jelzálogbank Rt. vezető jogtanácsosaként került a pénzintézet igazgatói székébe. Neumann Miksa 1913-ban nemesi címet kapott az uralkodótól, I. Ferenc József császártól. Neumann ezért jegyezte később a külföldön megjelent cikkeit Johann, majd Amerikában John von Neumann néven. Már hatéves korában képes volt két hatjegyű számot fejben elosztani és ógörögül társalgott apjával.
A Neumann-család lipótvárosi otthonában pezsgő társasági élet zajlott, többször vendégeskedtek náluk ismert művészek és tudósok,
így többek között a kor egyik leghíresebb matematikaprofesszora, Fejér Lipót is.
Középiskolai tanulmányait a híres fasori Evangélikus Gimnáziumban végezte, ahol a két másik „marslakó", Wigner Jenő és Teller Ede is tanult. Első értekezését tizennyolc évesen publikálta. Apja kívánságára Zürichben vegyészmérnöki diplomát szerzett, majd 1921-ben beiratkozott a Budapesti Tudományegyetem matematika szakára is. Egyetemi évei alatt gyakran utazott Berlinbe, ahol Fritz Habernél kémiát, Albert Einsteinnél pedig statisztikus mechanikát hallgatott. Berlini tanulmányai idején fűzte szorosra kapcsolatát Wigner Jenővel, Szilárd Leóval és Gábor Dénessel.
A doktori fokozatot halmazelméleti disszertációjának sikeres megvédésével szerezte meg 1926-ban, Budapesten. Ezután Németországban tökéletesítette matematikai tudását, Göttingenben operátorelméleti és kvantumfizikai kutatásokat végzett, továbbá kidolgozta a fizikai mérések matematikai elméletét, és a tiszta kvantummechanikai állapot fogalmát. Neumannt 1930-ban Wigner Jenővel együtt az Egyesült Államokba hívták,
ahol mindössze 27 évesen ő lett minden idők legfiatalabb egyetemi tanára a Princeton Egyetemen.
A matematika szinte minden területén maradandót alkotott, 150 dolgozata közül 20 fizikai, a többi elméleti és alkalmazott matematikai, játék- és számítógép-elméleti tanulmány. Ő fogalmazta meg a statisztikai mechanika úgynevezett ergodtételét, a sok részecskéből álló rendszereket statisztikusan leíró matematikai modellt. Az 1930-as évek végén a később Neumann-algebrának nevezett operátorgyűrűket kutatva alkotta meg a folytonos geometriát, amellyel olyan geometriák nyerhetők, amelyek dimenziószáma nem csak pozitív egész szám lehet.
A kvantummechanika kutatói közül ő volt az, aki a Heisenberg-féle mátrixmechanikát és a Schrödinger-féle hullámmechanikát korrekt és szigorú matematikai alapokra helyezte.
Neumann János 1940-től fordult az alkalmazott kutatások felé. Bevezette a numerikus meteorológiát, az időjárás-előrejelzés számszerűsítését, matematikai alapokra helyezését. Miután az Egyesült Államok 1941. december 7-én belépett a második világháborúba, tanácsadóként dolgozott, az amerikai atomfegyvert kifejlesztő Manhattan programban, többek között Robert Oppenheimerrel és Enrico Fermivel együtt.
Az amerikai atomfegyver kifejlesztését célzó Manhattan-programot Szilárd Leó kezdeményezésére 1942-ben Franklin D. Roosevelt elnök rendelte el. A Manhattan-terv életre hívását a német nukleáris kísérletekről szóló hírszerzési információk motiválták. A programot Albert Einstein is támogatásáról biztosította, aki korábban Gábor Dénessel együtt jegyezte az elnöknek írt levelet. Neumann a szigorúan titkos projektben elsősorban a robbanási lökéshullámokat és a ballisztikai lőelemtáblázatokat elemezte.
Rendkívül jelentős a játékelméleti munkássága is. A témában 1928-ban közölte első értekezését, kutatásait 1944-ben, Oskar Morgensternnel közösen írott, ma már alapműnek számító Játékelmélet és közgazdasági viselkedés című könyvében összegezte. A kétszemélyes, zéró összegű játékokat (a játékosok döntési és együttműködési lehetőségeit) elemezve
kimutatta, hogy létezik mindkét fél számára optimális stratégia.
Az általa lefektetett elveket ma már többek közt a közgazdaságtan, a társadalom- és hadtudomány, a pedagógia is használja. Hidrodinamikai kutatásainak nemlineáris differenciálegyenleteit nem lehetett zárt formában megoldani, ez vezette el a számítástechnikához.
Egy matematikus ismerőse, a lőtáblázatok számításaival foglalkozó Herman Goldstine megemlítette, hogy az amerikai hadsereg egy elektronikus számolóberendezés, az ENIAC kifejlesztésén dolgozik. Neumann érdeklődését felkeltette a program, melynek egy év múlva már az igazgatója volt, állandóan vitatkozva az 1946-ban munkába állított ENIAC tervezőivel.
Mivel az emberiség közös kincsének tartotta a számítógépet, nem volt hajlandó ötleteit szabadalmaztatni,
sőt 1945-ben kiadta az EDVAC, a következő típus leírását, megakadályozva a szabadalom levédetését.
Neumann és Goldstine 1952-ben alkotta meg saját gépét: az IAS már párhuzamos működésű volt, sokkal gyorsabban számolt, felépítése alapvonalaiban megegyezett a mai korszerű számítógépekével. Aritmetikai, memória-, vezérlő- és input-output egységekből állt, ők módosítottak először programot programmal, alkalmaztak először képernyős kimenetet nyomtatás helyett. Neumann úttörő volt a gépek logikai felépítése terén is,
tőle származik a kettes számrendszer alkalmazása,
a memória, az ő felismerése, hogy a számítógépben nemcsak adatok, hanem utasítások, programok is tárolhatók. A mai gépek mind így működnek, csak a méretük zsugorodott.
Neumann dolgozta ki azt is, hogy a megbízhatatlan elemekből álló gép miképpen adhat megbízható választ, leírta a véletlen gépi szimulálását, kutatta a magukat reprodukáló sejtautomatákat, a halmazelmélet egzakt alapjait, a kibernetika elméletét. Elhalmozták megbízásokkal, számtalan előadásra kérték fel, a hadsereg minden fegyvernemének tanácsadója volt. Amikor 1954-ben barátját, Robert Oppenheimert a Mccarthy-féle kommunistaellenes boszorkányüldözés alatt meghurcolták, Neumann kiállt mellette. 1955 végén egészsége rohamosan romlani kezdett, akasztófahumorral azt mondta: ha rákom van, megkapom a Fermi-díjat.
Mint kiderült, csontrák támadta meg, és a Szabadság-éremmel együtt valóban megkapta a kitüntetést. Utolsó percéig a számítógép és az agyműködés párhuzamait feltáró könyvén dolgozott, de a kézirat befejezetlen maradt.
Kollégái nagy viccmesélőnek, vidám, társasági embernek ismerték, csodájára jártak széles műveltségének,
hihetetlen memóriájának, fejszámoló készségének, a legenda szerint az első számítógépek számításait ő maga ellenőrizte a géppel egy időben, fejben kalkulálva. A múlt század egyik legnagyobb matematikusa 1957. február 8-án halt meg Washingtonban. Emlékét őrzi a Neumann János Számítógép-tudományi Társaság, a Holdon krátert neveztek el róla, több utca és iskola viseli nevét, budapesti szülőházán emléktáblát helyeztek el.
Életműve 2015-ben bekerült a Hungarikumok Gyűjteményébe. Születésének 120. évfordulóján emlékévet rendeztek, a Neumann Társaság Idézhető Neumann János címmel kötetet jelentetett meg róla, a könyvesboltok polcaira került Ananyo Bhattacharya Neumann János - Az ember a jövőből című életrajzi könyve, a Magyar Nemzeti Bank 3 ezer forint névértékű emlékérmét bocsátott ki tiszteletére.