Tizenegy évesen kezdett rendszeresen futni, három évvel később már tíz percen belül teljesítette a 3000 métert. Edzéseit példaképe, az 1912-es stockholmi olimpia háromszoros győztese, Hannes Kolehmainen irányította.
Nurmi felkészülési módszereiről ellenfelei később sem sokat tudhattak meg, egyesek szerint naponta kétszer (délelőtt és az esti órákban), mások szerint négyszer tartott edzést, megint mások annak a kevéssé valószínű változatnak a hívei voltak, hogy késő ősztől kora tavaszig egyáltalán nem is futott.
Az élvonalba huszonhárom éves korában, az 1920-as antwerpeni olimpián robbant be. Tapasztalatlansága miatt 5000 méteren még a francia Joseph Guillemot mögött ért célba, de aztán győzött 10 000 méteren, megnyerte a 8 kilométeres mezeifutást, és ebben a számban a finn csapat tagjaként is első helyezést ért el.
Az olimpia után Helsinkibe költözött, ahol elvégezte az ipariskolát. A "csodafutó" a következő években több távon is megpróbált világcsúcsot elérni, és törekvéseit 1921-ben koronázta siker: 10 000 méteren futott világrekordot, ezt a következő évben a 2000 méteres és az 5000 méteres csúcs követette.
Az 1924-es párizsi olimpián ismét bizonyítékát adta kivételes képességeinek: öt aranyéremmel tért haza. Szinte felfoghatatlan módon 1500 és 5000 méteren is olimpiai rekordot futott, mégpedig úgy, hogy a rekkenő kánikulában rendezett két futam között csak fél órát pihent, s nem talált legyőzőre 3000 méteren, a mezeifutás egyéni és csapatversenyében sem.
Legnagyobb felháborodására az egészsége miatt aggódó sportvezetők nem engedték rajthoz állni 10 000-en. Csattanós válaszként az ötkarikás játékokról hazatérve olyan világcsúcsot repesztett ezen a távon, amelyet a többiek tizenhárom éven át csak ostromolni tudtak. (Sőt, a legenda szerint a döntővel egy időben ő egyedül futott a gyakorlópályán, és fél perccel jobb időt ért el, mint győztes honfitársa, Ville Ritola.) 1925-ben amerikai "turnén" vett részt, 55 versenyen állt rajthoz, és csak kétszer nem győzött.
Az 1928-as amszterdami olimpia - akkor még nem sejtette, hogy számára ez lesz az utolsó - egy arany- és két ezüstérmet hozott számára: 10 000 méteren állhatott a dobogó legfelső fokára, 5000 méteren, illetve 3000 méteres akadályfutásban második helyezést ért el.
A világ egyik legnépszerűbb, egyben legszerényebb sportolója legfájóbb vereségét a sportpályán kívül szenvedte el. Úgy tervezte, hogy indul az 1932-es Los Angeles-i ötkarikás játékokon, és a maratoni futásban teszi fel a koronát pályafutására. (Szakértők szerint a csúcsformában lévő "repülő finn" tíz perccel jobb időre lett volna képes, mint az akkori világcsúcs.)
A Nemzetközi Atlétikai Szövetség (IAAF) nagyhatalmú elnöke, a svéd Sigfrid Endström azonban elérte, hogy Nurmit nyilvánítsák profinak, mert 1931-ben egy versenyen 250 dollár pénzdíjat vett át. A farizeusi döntést a fellebbezések nyomán sem változtatták meg, Nurmi hiába utazott el az olimpiai faluba, hiába kérte ezt petícióban a maratoni futás valamennyi résztvevője, nem engedték rajthoz állni. (Finnország ezután nyolc éven át nem volt hajlandó részt venni a hagyományos finn-svéd futóversenyen.) Hazájában "nemzeti amatőrként" még indult versenyeken, utoljára 1934 szeptemberében 10 ezer méteren állt rajthoz - ezen a távon 14 éves pályafutása során végig veretlen maradt.
A futástól nem szakadt el végleg, több alkalommal is részt vett jótékonysági célú versenyeken, utoljára 1966-ban a New York-i Madison Square Gardenben.
A kilenc olimpiai arany- és három ezüstérem mellett nevéhez 25 egyéni és 2 váltóvilágrekord fűződik. 1919 után mintegy 300 versenyen indult, és csak 15-ről jött el úgy, hogy nem ő volt az első helyezett.
A mai napig ő az egyetlen futó, aki egyidejűleg tartotta az egy mérföld, az 5000 és a 10 000 méter világcsúcsát. A világon eddig összesen kilenc atléta volt egyszerre 5000 és 10 000 méteren is az IAAF által elismert világcsúcstartó, közülük Nurmi 2849 napon át tartotta a rekordot, ezt csak 2012-ben szárnyalta túl az etióp Kenenisa Bekele. Nurmi élete a futás volt, de verseny közben úgy látszott, hogy szenvedély és érzelem nélkül versenyez, szeretett győzni, de soha nem mosolygott.
Minden versenyén a kezében volt a stopperóra, és látszólag több figyelmet szentelt a tempó ellenőrzésének, mint ellenfeleinek. Minden idők egyik legeredményesebb sportolóját csak az 1952-es helsinki olimpián láthatta újra a világ, amikor a hazai közönség hatalmas üdvrivalgásának közepette az ötvenöt éves sportember gyújtotta meg az olimpiai lángot.
Az üzleti életben építőiparral és részvénykereskedelemmel foglalkozott, ruhaboltja is volt, amelyet főként azért kerestek fel a vevők, hogy láthassák a tulajdonost. Finnország egyik leggazdagabb embere lett, hazájában az első orvosi mentőautókat az ő anyagi támogatásával szerezték be. 1940-ben, a szovjet-finn téli háború idején Amerikában gyűjtött adományokat hazája számára, majd hazatérve 1942-ig a hadseregben szolgált. 1968-ban a szív- és érrendszeri betegségek vizsgálatát támogató alapítványt hozott létre.
A zárkózott sportoló hetvenéves korában állt még egyszer a nyilvánosság elé, akkor is csak azért, mert az ünnepi televíziós interjút nem más, mint az akkori finn államfő, Urho Kekkonen készítette vele. A "repülő finn" 1973. október 2-án halt meg Helsinkiben.
Állami temetést kapott, szobra a helsinki olimpiai stadion előtt áll, az euró bevezetése előtt arcképe díszítette a tízmárkás finn bankjegyet, szülővárosában, Turkuban minden évben nevét viselő rangos atlétikai versenyt rendeznek.