Albunán egy kis falvacska Spanyolországban, Granada közelében, és az 1960-as években a településnek közel ezer lakosa volt, akik közül nagyon sokan úgy gondolták, hogy a helyi munkanélküliség elől (a közeli ércbánya akkoriban zárt be) érdemes külföldre költözniük.
Így volt ezzel a Gómez család is, és a família (papa, mama és négy gyermek, köztük a 11 esztendős, José) a németországi Unlingenbe vándorolt ki, ahol a legidősebb Gómez (szintén José) az építőiparban vállalt munkát. Fia a szobafestő szakmát tanulta ki, és 20 esztendős korára már olyan jól ment neki, hogy megkezdhette a saját háza felépítését a városkában.
Ifjabbik José Gómez ugyanis úgy döntött, hogy marad Unlingenben, és itt alapít családot, míg édesapja hazatért Albunánba. A Gomez família legifjabb sarja, Mario tehát már Németországban látta meg a napvilágot 1985. július 10-én, és ennek megfelelően meg is kapta a német állampolgárságot.
José Gómez nagy futballrajongó volt, amatőr szinten játszott is, így aztán nem meglepő, hogy fiacskája is vonzódott a labda iránt. Első edzője természetesen az édesapja volt (még azt is megengedte neki, hogy a nappaliban gyakoroljon) majd Mario játszott a helyi futballklubban, az SV Unlingenben, aztán a közeli FV Salgauban is megfordult. Hamar kiderült azonban, hogy túl tehetséges ahhoz, hogy ezen a szinten folytassa, így aztán az SSV Ulm ifjúsági csapatához került, azonban az édesapja ennél messzebbre nem engedte el, mivel úgy tartotta: első a tanulás.
Pedig Mariót már 13 esztendősen szerette volna elcsábítani a VfB Stuttgart, amelynek tehetségkutatója, Thomas Albeck már akkor felfigyelt rá. A papa azonban úgy vélte, hogy fiacskájának nem tenne jót, ha egyedül élne a "nagyvárosban", és Mariónak sem nagyon akaródzott elhagyni a szülői házat.