Az ázsiai kirándulás azonban sem a squadra azzurra, sem Fabio számára nem úgy sikerült, mint ahogyan várni lehetett: már a csoportban sem remekelt Giovanni Trapattoni együttese, a nyolcaddöntőben (ahol Cannavaro eltiltása miatt nem játszhatott) pedig ki is esett a társházigazda Koreai Köztársaság ellen.
Igaz, az olaszok vereségében elévülhetetlen érdemei voltak a találkozó ecuadori játékvezetőjének, Byron Morenónak, aki legalább annyit tett a dél-koreai győzelemért, mint Guus Hiddink játékosai. Cannavaro néhány nappal később kis híján elégtételt vett a sporin, hiszen egy repülőtéren véletlenül összefutott vele, és csak a biztonságiakon múlott, hogy a futballista csupán a verbális erőszakig jutott.
Olaszországba hazatérve összecsomagolt Parmában, és hét év (valamint 189 hivatalos mérkőzés) után elhagyta a várost, mivel az FC Internazionaléhoz szerződött. Milánóban nagy szeretettel és még nagyobb elvárásokkal fogadták, azt várták ugyanis tőle és társaitól, hogy az 1989 óta hiába várt bajnoki cím végre a klub birtokába kerül. Hogy ez nem sikerült, az a legkevésbé sem Cannavarón múlt: a védő hozta szokásos formáját, de társai nem tudtak felnőni hozzá, így a scudetto a többek között Buffonnal és Thurammal fémjelzett Juventusé lett. Egy évvel később, 2004-ben pedig az AC Milané, az Inter csak negyedik lett.
A kudarchoz Cannavaro sérülése is hozzájárult (mindössze 22 találkozón játszott a bajnokságban), a hátvéd egyáltalán nem érezte jól magát Milánóban, és a portugáliai Európa-bajnokság után mindenképpen távozni akart az Intertől. A védőnek a vártnál néhány héttel több ideje maradt a pihenésre és a kérőkkel való tárgyalásra, ugyanis az olasz válogatott már a csoportmérkőzéseket követően utazhatott haza az Eb-ről. Cannavaro csak a svédek és a dánok ellen játszott, a bolgárokkal megvívott utolsó találkozót a kispadról nézte végig.
A csalódásra ismét környezetváltozással próbált gyógyírt találni a védő, hiszen az átigazolási időszak utolsó napján, 2004. augusztus 31-én a Juventus FC-hez szerződött. Cannavaro bevallottan azzal a céllal választotta a torinói sztárklubot, hogy végre olasz bajnoki címet szerezzen, és ennek érdekében mindent meg is tett a pályán: csapata mind a 38 bajnoki mérkőzésén szerepelt, két gólt is szerzett, a Juve pedig meggyőző fölénnyel lett története során 28. alkalommal Olaszország legjobb csapata.
Egy esztendővel később Fabio és a csapat is ismételt: a védő 36 találkozón négy góllal járult hozzá az újabb aranyérem megszerzéséhez, így kétszeres bajnokként utazhatott el a németországi világbajnokságra.