Jó formája ellenére a PSV-ben a 2001-2002-es idényben még nem mutatkozhatott be, erre csak a következő szezon őszén, az RBC Roosendaal ellen került sor: negyedórát kapott a szerb légiós, Mateja Kezman helyén. Pont az ő személye jelentette a legfőbb akadályt Huntelaar első csapatba kerülése kapcsán; a balkáni gólvágót rekordösszegért igazolta le annak idején a PSV, érthető, hogy a remek formában lévő Kezman maradt az eindhoveniek középcsatára.
Mindkét fél számára előnyös volt tehát, hogy Klaas Jant klubja a tavaszra kölcsönadta nevelőegyesületének, az akkor épp első osztályú De Graafschapnak. A felnőttek közé azonban ott sem nagyon fért be, bár 2003. február 8-án csereként már kapott egy félidőt a nagyok között (érdekes módon szintén az RBC ellen), ám a továbbiakban már csak nyolc mérkőzésen vetették be, amelyekből kétszer volt kezdő, 90 percet pedig csak egyszer, az SC Heerenveen ellen játszott, amikor csapata 5-1-es vereséget szenvedett.
A nyáron visszatért a PSV-hez, ahol azonban továbbra sem tartottak igényt a szolgálataira, így ismét kölcsönadták, mégpedig a másodosztályú AGOVV Apeldoornnak, ahol az eindhoveniek egykori csatára, Jurrie Koolhof volt a vezetőedző. Az ifjú támadó ott aztán végre megtalálta góllövő cipőjét a felnőttek között. Rögtön a szezon első mérkőzésén, a mérkőzés kilencedik percében gólt szerzett a TOP Oss ellen 2003. augusztus 15-én (csapata ennek ellenére 2-1-re kikapott).
Egy héttel később pedig mesterhármast ért el a Heracles Almelo otthonában, a Polman-stadionban - érdekesség, hogy mindhárom gólt tizenegyesből szerezte. Az ipari méretű gólgyártást az egész szezonban folytatta, még két mesterhármast ért el, négyszer duplázott, valamint gólt szerzett nevelőegyesülete, a De Graafschap ellen is, amely közben kiesett az élvonalból.
Az AGOVV végül a középmezőnyben végzett, de Huntelaar kiemelkedett a másodosztály mezőnyéből, 26 találattal gólkirályi címet szerzett, és megválasztották a divízió legjobb futballistájának.