Jól elvolt ő az Ulm ificsapatában, ám bő egy évvel később alaposan elgondolkoztatta őt az a mérkőzés, amelyen együttese 7-0-s vereséget szenvedett a stuttgartiaktól. Gomez joggal jutott arra a következtetésre, amennyiben profi futballista akar lenni, akkor a fejlődése érdekében váltania kell, és ezúttal már a papa sem mondott nemet, így aztán Mario még nem volt 16 esztendős, amikor a VfB Stuttgarthoz került.
Egy évig az egyesület futballakadémiáján lakott, ám 17 évesen már saját lakása volt a városban, és akkor már nem csak helyi szinten fedezték fel. A sváboknál ugyanis olyan jól futballozott, hogy meghívták a korosztályos válogatottba, amellyel 2002-ben részt vett az U17 Európa-bajnokságon. Gomeznek olyan csapattársai voltak, mint Lukas Podolski vagy René Adler, és a magyarok elleni 6-2-es győzelemből góllal vette ki a részét.
Ezt követően az U19-válogatottnál is számításba vették, pályára lépett és gólt is szerzett a 2004 nyarán sorra került korosztályos Európa-bajnokságon is, de akkor már a klubjával is rengeteg nagy élmény volt mögötte. A 2003-2004-es idényben ugyanis a stuttgartiak három különböző csapatában is játszott: az A-jugenddel, vagyis az ifivel bajnokságot nyert, az amatőrök között a Regionalligában, azaz a harmadosztályban 19 mérkőzésen hat találatot ért el, sőt, a felnőttek között is debütálhatott.
Nem is akármilyen mérkőzésen: a nagycsapat mestere, Felix Magath nem csak hogy benevezte őt a Chelsea FC elleni Bajnokok Ligája-nyolcaddöntőre, hanem a londoni visszavágó hajrájában be is cserélte. Gomez a Bundesligában is debütálhatott, a bajnokság hajrájában a Hamburger SV ellen éppen Szabics Imrét váltotta, és mindenki nagy jövőt jósolt neki, és meg is kötötte karrierje első profi szerződését, ami 2008-ig szólt.