A címeres mezben egy Mexikó elleni barátságos mérkőzésen mutatkozott be, és innentől kezdve rendszeresen ott volt a háromoroszlánosok keretében, bár egyetlen világbajnoki selejtezőn sem vetették be.
Klubjában viszont olyan jó teljesítményt nyújtott (a West Ham hetedik lett a 2001-2002-es pontvadászatban, pedig Cole egyetlen gólt sem ért el), hogy Sven-Göran Eriksson kivitte őt a 2002-es világbajnokságra, ahol az angolok első csoportmérkőzésén, a svédek ellen pályára is léphetett bő negyedóra erejéig.
A következő szezon viszont nagyon furcsán alakult a számára, hiszen egyénileg talán élete legjobb formájában futballozott, mindössze két bajnokit hagyott ki, azonban a Kalapácsosok váratlanul kiestek az élvonalból.
Ugyan Lampard és Ferdinand akkor már nem volt a klub játékosa, de még mindig olyan focisták szerepeltek a gárdában Cole mellett, mint Carrick, Kanouté, Di Canio, Jermaine Defoe, Lee Bowyer vagy David James - a WHU-nak azonban búcsúznia kellett a Premier League-től.
Sejteni lehetett, hogy az élvonalbeli egyesületek begyűjtik majd a Kalapácsosok legjobbjait, és ez alól Cole sem volt kivétel: a még mindig csak 22 esztendős középpályást a Chelsea FC vásárolta meg.
A Kékek új tulajdonosa, az orosz Roman Abramovics nem sajnálta a pénzt a focistákra, és Cole-nak nem akármilyen vetélytársakkal kellett megküzdenie a csapatba kerülésért, Claudio Ranieri mester pedig eleinte nem őt preferálta. Cole többnyire csak csereként kapott lehetőséget, sőt, állítólag az is felmerült, hogy kölcsönadják őt a CSZKA Moszkvának!
A bajnokság hajrájában aztán már többször is a kezdőben szerepelt, így visszakerült a válogatott keretébe is, de hiába utazott el a 2004-es Európa-bajnokságra, Eriksson nem játszatta őt a kontinensviadalon.