Tizenegy évesen kezdett futni, három évvel később már tíz percen belül futotta a 3000 métert. Edzéseit, felkészülését egy másik "repülő finn", az 1912-es stockholmi olimpia háromszoros győztese, Hannes Kolehmainen irányította. Felkészüléséről később sem sokat tudhattak meg ellenfelei, egyesek szerint naponta kétszer (délelőtt és az esti órákban), mások szerint négyszer tartott edzést, megint mások azt a kevéssé valószínű elméletet hangoztatták, hogy késő ősztől kora tavaszig nem is futott - az viszont bizonyos, hogy minden egyes versenyén ott volt a kezében a stopperóra.
A katonaságot is megjárt fiatalember az 1920-as antwerpeni olimpián robbant a köztudatba. Rutin híján az 5000 méteren még a francia Joseph Guillemot mögött szakította át a célszalagot, de aztán győzött 10 ezer méteren, megnyerte a 8000 méteres mezei futást, s ebben a számban a finn csapat tagjaként is első helyezést szerzett.
A finnek új csodafutója a következő olimpiáig több távon is megkísérelt világcsúcsot elérni, próbálkozásait legtöbbször a kedvezőtlen időjárás miatt nem koronázta siker. Később aztán rámosolygott a szerencse, előbb 10 ezer méteren ért el világcsúcsot, amit 2000 méteren, 5000 méteren és 1923-ban Stockholmban egymérföldes távon felállított rekord követett.
Az 1924-es párizsi olimpián ismét bizonyítékát adta kivételes képességeinek, öt aranyéremmel megrakodva térhetett haza. Ma már elképzelhetetlen módon úgy győzött 1500, illetve 5000 méteren, hogy a két futam között alig 26 perc pihenő állt rendelkezésére. Nem talált legyőzőre 3000 méteren és a mezei futás két számában (egyéni, csapat) sem. Az egészsége miatt aggódó sportvezetők Nurmi legnagyobb felháborodására nem engedték rajthoz állni 10 ezer méteren, a "repülő finn" csattanós válaszként az ötkarikás játékokról hazatérve olyan világcsúcsot repesztett, amit 13 éven át csak ostromolni tudtak. 1925-ben amerikai "turnén" vett részt, 55 versenyen állt rajthoz, s csak kétszer kapott ki.
Az 1928-as amszterdami olimpia - akkor még nem sejtette, hogy az utolsó hihetetlen sikerekben bővelkedő karrierjében - egy arany- és két ezüstérmet hozott számára. A rendkívül visszahúzódó és szerény Nurmi 10 ezer méteren állhatott a dobogó első fokára, 5000 méteren, illetve 3000 méteres akadályfutásban második helyezést ért el.
A helsinki olimpiai stadion előtt álló Nurmi-szobor ma is népszerű látványosság
A világ egyik legnépszerűbb sportolója legfájóbb vereségét a sportpályán kívül szenvedte el. Úgy tervezte, hogy az 1932-es Los Angeles-i ötkarikás játékokon, maratoni futásban teszi fel a koronát pályafutására. A Nemzetközi Olimpiai Bizottság két nagybefolyású tagja, az amerikai Avery Brundage és a svéd Sigfrid Endström azonban elérte, hogy egy versenyen átvett pénzdíj miatt nyilvánítsák profinak a finnt, így nem vehetett részt a játékokon. Nurmi az utolsó pillanatig bízott a farizeus döntés megváltoztatásában, még a versenyek előtt is edzett, de végül mégsem engedték rajthoz állni. (Az incidens részben közrejátszott abban, hogy Finnország ezt követően nyolc éven át nem vett részt a hagyományos svéd-finn atlétikai versenyen.)
Minden idők egyik legeredményesebb sportolója 1933-ban vonult vissza a versenyzéstől, legközelebb az 1952-es helsinki olimpián láthatta a közönség, amikor az 55 éves sportember hatalmas ováció közepette meggyújtotta az olimpiai lángot. A közönség szeretete mellett a NOB rehabilitációról szóló döntése is enyhíthette szomorúságát.
Az üzleti életben tevékenykedő Nurmi zárkózott személyiségére jellemző, hogy legközelebb 70 éves korában állt a nyilvánosság elé, akkor is csak azért, mert az ünnepi televíziós interjút nem más, mint az akkori finn elnök, Urho Kekkonen készítette vele. Az olimpiai örökranglistán Larissza Latinyina mögött második "repülő finn" 1973. október 2-án halt meg Helsinkiben. Állami temetést kapott, szobra az olimpiai stadion előtt áll.