1878. február 1-jén született Budapesten Guttmann Arnold néven egy szegény zsidó családban, édesanyja öt testvérével együtt egyedül nevelte.
Amikor 13 éves volt, apja a Dunába fulladt, ekkor határozta el, hogy megtanul úszni.
A vékonydongájú fiú a Markó utcai főreálgimnáziumban első tornaóráján felsült: nem tudott fölmászni a rúdon. A kudarc azonban nem kedvetlenítette el, inkább megacélozta, és néhány hét után a titkos edzések eredményeként fölmászott a plafonig. Amikor a Műegyetemre járt, tanulmányai mellett tornázott, futott és úszott - a kor ideálja a sokoldalú sportember volt -, és tizenhét évesen már magyar bajnok és Európa-bajnok volt.
Az első magyar olimpiai keretbe - amely mindössze hét sportolóból állt - tizennyolc évesen, egyetlen úszóként került be.
Az 1896-os első újkori olimpián két gyorsúszó számban, 100 és 1200 méteren is elsőként ért célba,
megszerezve a magyar sport első olimpiai győzelmeit. A versenyeket április 11-én rendezték a pireuszi tengeröböl 12 fokos vizében. A 100 méteres verseny résztvevőit gőzhajóval szállították ki az öböl közepén kijelölt rajthelyre, egy kifeszített kötélhez. Elsőként Hajós ért célba, 1:22,2 perces idővel, tiszteletére a trónörökös húzta fel a hajó árbocára a magyar zászlót, amelyet Hajós vitt magával Görögországba. A zenekar ezután belekezdett a himnuszba, csakhogy az osztrák Gott erhaltéba, amit a néhány magyar leintett, és ők énekelték a Himnuszt.
Bár nagyon fázott, újból bezsírozta magát, és a sűrű program miatt az 500 méteres távot kihagyva 1200 méteren indult újra.
Úgy nyert 60 méteres előnnyel, hogy körülötte sorra adták fel a riválisok a versenyt a dermesztő vízben.
Másnap a görög lapok Hajós Alfrédet mint a "magyar delfint" emlegették.
A görögök hatalmas ünneplésben részesítették, a király a fogadáson megkérdezte tőle: "Hol tanult meg ilyen jól úszni?" Mire Hajós nagy derültséget keltve csak ennyit válaszolt: "A vízben".
Győzelmeinek értékéből nem von le semmit, hogy angolok, németek, ausztrálok nem vettek részt az akkoriban még kis vonzerőt jelentő olimpián, amiként az sem, hogy az áprilisi hideg tengervíz sem volt mindenki számára csábító.
Hazatérve folytatta egyetemi tanulmányait, 1899-ben szerzett építészmérnöki diplomát a Műegyetemen. Itthon kevesebb elismerést kapott,
egyik műegyetemi tanára meg is rótta, hogy tanulás helyett léha emberként sportol.
Úszópályafutását 1897-ben, tizenkilenc éves korában befejezte, áttért a tornára és a labdarúgásra. Szerepelt az első magyarországi labdarúgó-mérkőzésen, a Millenáris pályán 1897. május 9-én a Budapesti Torna Club (BTC) csapatában lépett pályára. 1901-ben és 1902-ben tagja volt a bajnokcsapatnak, és
1902-ben az első magyar labdarúgó-válogatottnak ő volt a csapatkapitánya.
Később játékvezetőként, 1906 őszén szövetségi kapitányként is működött. Az 1900-as évek elején neves újságírónak számított, a Sport Világ című lap az ő szerkesztésében jelent meg.
Az aktív sportolástól 1904-ben visszavonult. Előbb Alpár Ignác, majd Lechner Ödön irodájában dolgozott, 1907-től Villányi Jánossal közösen önálló irodát tartott fenn. 1924-ben Lauber Dezsővel készített
stadionterve ezüstérmet nyert az olimpiai művészeti versenyeken
Párizsban (az aranyérmet nem ítélték oda). A zsidótörvények hatálya alól sokáig felmentették, de a holokauszt idején neki is bujkálnia kellett. 1945 után már csak ritkán szerepelt nyilvánosan, de 1947-ben, az első magyar válogatott mérkőzés ötvenedik évfordulóján ő végezte el a kezdőrúgást az osztrákok elleni meccsen.
Alkotásai az eklektikától és a szecessziótól a modern formák alkalmazásáig terjednek. Az általa tervezett, ma a nevét viselő margitszigeti fedett sportuszodát (1930) a vasbetonszerkezet lehetőségének merész kihasználása, korszerű tér- és homlokzatformák jellemzik. Az ő tervei alapján épült többek között az újpesti Megyeri úti sporttelep, a debreceni Arany Bika Szálloda, a győri versenyuszoda és a Magyarországi Református Egyház székháza. 1945 után irodáját nem nyithatta újra, de ő vezette a Vajdahunyadvár, a Tőzsdepalota és több más középület helyreállítási munkálatait, még
a sztahanovista kitüntetést is megkapta.
Szabadidejét gyakran töltötte sportember testvérbátyja sashalmi házában, ahol még idősebb korában is úszott, teniszezett, és a helyi sportélet, főként a foci felvirágoztatásából is kivette a részét. 1955. november 12-én, hetvenhét éves korában halt meg Budapesten. Életútja tökéletesen példázza hitvallását, mely a test és szellem harmóniáját állította középpontba. A Magyar Testnevelési és Sportmúzeum 1967-ben Hajós Alfréd egykori Báthory utcai lakásában kezdte meg működését.
A magyar sporttörténet legendás alakját 1966-ban az egyesült államokbeli Fort Lauderdale-ben beválasztották az úszás halhatatlanjai, az International Swimming Hall of Fame tagjai közé. 2002-ben posztumusz Magyar Örökség-díjat, 2010-ben posztumusz Ybl Miklós-díjat kapott. 2013-ban posztumusz beválasztották a Magyar Úszó Hírességek Csarnokába.
Nevét iskolák, utcák, emléktáblák, emlékművek őrzik.
Tárgyi és szellemi hagyatékának ápolására 2002-ben létrehozták a Hajós Alfréd Társaság közhasznú egyesületet.