Az angol labdarúgásban lévő Cole-dömping (a 2007-2008-as idényben a Premier League-ben négyen is futballoznak ezen a néven) részben annak is köszönhető, hogy Joe édesapja elhagyta a családját, amikor gyermeke alig pár hónapos volt.
A futballistát eredetileg ugyanis Rooksnak hívták, ám még nagyon fiatalon felvette nevelőapja, George Cole nevét, és vér szerinti apjával egyszer sem találkozott - mint elmondta, soha nem is akart kapcsolatot tartani vele.
A nevelőpapa zöldség- és gyümölcskereskedelemmel foglalkozott, és nem sok köze volt a focihoz, így aztán lehet, hogy a kis Joe tehetségét az édesapjától örökölte - annyi mindenesetre bizonyos, hogy már kétéves korától az volt a kedvelt elfoglaltsága, hogy a kertben labdázott, később pedig a tévében látott trükköket próbálta utánozni.
Egészen 11 esztendős koráig semmilyen egyesületben nem fordult meg, maximum a suliban kergette a labdát, ott viszont hamar rájöttek, hogy elképesztően ügyesen bánik a játékszerrel. Iskolai edzője mind a mai napig emlegeti, hogy csodájára jártak a környéken a kis Joe-nak, és hamarosan a profi klubok tehetségkutatóinak a figyelmét is felkeltette Cole talentuma.
Tizenhárom esztendős korában a Paddington nevű utánpótlás-nevelő klubban futballozott, és a gárda mérkőzésein egyre-másra jelentek meg a játékosmegfigyelők. Mint a papa elmondta, a család napi több telefonhívást is kapott profi egyesületektől a Tottenham Hotspurtől kezdve az Arsenal FC-n keresztül a Manchester Unitedig.
A MU mestere, Sir Alex Ferguson például személyesen hívta fel a famíliát, hogy meginvitálja őket az 1995-ös FA-kupa-döntőre, de az Arsenal is nagyon közel került ahhoz, hogy megszerezze Cole-t, a befutónak azonban végül a West Ham United bizonyult.
A Kalapácsosok elhívták a családot az FA ifjúsági kupájának negyeddöntőjére, ahol a WHU korosztályos gárdája a Liverpool FC ellen játszott, és az akkor 14 esztendős Joe felvehette az egyesület kabalaállatának ruháját. A barátságos hangulat mind neki, mind családjának tetszett, így végül aláírt a West Hamhez, amely mindig is híres volt utánpótlás-neveléséről.