A spanyol főváros labdarúgását két olyan klub határozza meg, amelyek már alapításuk óta hatalmas riválisnak számítanak, és bár mind a Real, mind az Atlético már a kezdeteknél ott volt a hispán futball bölcsőjénél, a királyi gárda vált sokkal sikeresebbé és ismertebbé - aminek köszönhetően viszont az Atlético drukkerei sokkal fanatikusabbnak számítanak Spanyolországban.
Így történhetett meg, hogy a Madrid Fuenlabrada negyedében (amely a főváros délnyugati részén található, és tradicionálisan a Real bázisának számít) élő Torres családban mindenki az Atléticónak szorított, és az 1984. március 20-án született kis Fernandót is hasonló szellemben nevelték. Különösen a nagypapa beszélt neki sokat arról, hogy mit is jelent az Atletí (mert Spanyolországban sokszor csak így emlegetik a gárdát) szurkolójának lenni: egy igazi Atlético Madrid-rajongónak nem az a legfontosabb, hogy csapata nyer vagy veszít, hanem jóban-rosszban kitart a klub mellett, és sokkal érzelmesebben viszonyul a gárdához - ez különbözteti meg őket a Real Madrid sikerhajhász szurkolóitól, legalábbis a nagypapa szerint.
Fernandóról négyévesen derült ki, hogy remek gömbérzéke van, édesapja, José akkoriban passzolgatott vele először a család galíciai nyaralójában, Gastrarban. Egy évvel később pedig már csapatban kergette a labdát, mégpedig a Parque 84 nevűben, amely a környék hasonló korú gyermekeit gyűjtötte össze. Az egyik helyi sportcentrum szervezett egy "futballmaratont", amelynek során két napon keresztül folyamatosan pattogott a labda, és Fernando örömmel vett részt az eseményen, de amikor csak tehette, akkor az utcán is focizott - ha nem labdával, akkor egy gyümölccsel, egy üdítősdobozzal vagy bármivel, amibe csak bele lehetett rúgni.
Bátyjával, a nála hét esztendővel idősebb Israellel is sokat rúgták a bőrt a kertben, ám akkoriban Fernando legalább annyira szeretett a háló előtt állni, mint kapura rúgni. Egy alkalommal azonban, amikor éppen kapustudását igyekezett csiszolni, egy labda csúnyán fejen találta, és az ütés következtében kitört az egyik foga - innentől kezdve pedig már inkább a mezőnyben játszott, soha többé nem állt a gólvonal elé. Érdekesség, hogy egyszer a futballon kívül mással is sikerült megijesztenie szüleit: kisgyerekként ugyanis majdnem kidobta a család megtakarított pénzét. A família a megspórolt összeget valamiféle furcsa indoktól hajtva egy játékautóban rejtette el, amit a kis Fernando kétévesen kihajított a lakás ablakán. Szerencsére utána sikerült megtalálni a négykerekűt.
Nagy az összetartás az Atlético-játékosok között
Hétesztendősen aztán sikerült újabb alkalmi csapatot találni a legkisebb Torresnek: a környék egyik kávézója hozott létre egy gyerekgárdát Mário's Holland, azaz Mário Hollandiája néven, és be is nevezte egy helyi teremtornára. Ugyan életkora alapján Fernando nem is szerepelhetett volna az eseményen, mivel a határt nyolc évben szabták meg, de a bírák jótékonyan félrenéztek, és így a többieknél fiatalabb srác is pályára léphetett. Két éven keresztül kergette ott a labdát, és bár futószalagon ontotta a gólokat, ilyen fiatalon ennek még kevesen tulajdonítottak nagyobb jelentőséget.
Tízévesen aztán már egy komolyabbnak számító egyesületbe, a Rayo 13 nevű klubba került, amely Madrid egyik legnevesebb utánpótlás-nevelő alakulata, és itt már nagypályán bizonyíthatta képességeit. Ez kiválóan sikerült, hiszen első szezonjában 55 gólt ért el, és ennek köszönhetően ott volt a társaság azon három futballistája között, akiket az Atlético Madrid próbajátékra invitált.