1987 nyarán ült először a bajor padon edzőként, és szeptember elején kellett életében először Mönchengladbachba utaznia ellenfélként. 2-0-ra kikapott. Négy év alatt egyszer sem tudott nyerni szülővárosában. Első müncheni szerepvállalása alatt két bajnoki címet és két ezüstérmet szerzett a csapattal, és kétszer bejutott a Bajnokcsapatok Európa-kupájának elődöntőjébe. Azonban nem maradhatott „élete végéig" Münchenben. Ugyanis olyan lúzer módon elbukni a finálé küszöbén, ahogy azt a Heynckes vezette csapat tette háromszor is, az ritkaság a labdarúgás történetében.
1988-ban a negyeddöntőben a Bayern hazai pályán remek játékkal lefocizta a Real Madridot. A 85. percben 3-0-ra vezetett, majd ezt követően kapott kettőt. A visszavágón az akkoriban Madridban a bírók által is igen erősen támogatott Real futballt gyilkoló taktikájával 2-0-ra legyőzte.
1990-ben az elődöntőben 180 perc után 1-1-re állt a Milannal, majd a hosszabbításban esett ki, 2-2-vel, idegenben lőtt kevesebb góllal. 1991-ben pedig szintén az elődöntőben a Crvena zvezda ellen hazai pályán ugyan kikapott 2-1-re, ám Belgrádban nagyszerűen játszva a hajrában 2-1-re vezetett. Már a rendes játékidőben gólokkal nyerhetett volna, hosszabbításban pedig biztos ki is csikarta volna a döntőbe jutást, ha Augenthaler és Aumann együttes erővel nem szerencsétlenkedték a saját kapujukba a labdát a rendes játékidő utolsó percében – ezzel esett ki a csapat.
Ha ezekhez hozzátesszük, hogy 1988-ban Eindhoven–Benfica, 1990-ben Milan–Benfica, 1991-ben pedig Crvena zvezda–Marseille döntő volt a BEK-ben, akkor jogosan mondják a Bayern szurkolói, hogy egy-két BEK-győzelmet eldobtak akkor a játékosok. Hoeness pedig azt mondta, hogy
ezzel a Heynckesszel komoly eredményeket nem lehet elérni.
Hosszú időre elvált az edző és a csapat útja. A következő 15 évben kétszer járt Münchenben edzőként a többnyire spanyol földön dolgozó, és itt a Don Jupp becenevet kapó sportember. Aztán úgy döntött, hogy végleg hazatér, és pályafutását keretbe foglalandó a mönchengladbachi kispadról vonul nyugdíjba. 61 évesen 'gladbachi edzőként a 2006-07-es szezonban 1-1-et játszott Münchenben. Ám kis túlzással az volt régi-új csapata egyetlen sikere. A tél végén kiesőhelyre zuhant, és Heynckes, akit 'Gladbachban senki nem mert felállítani a padról, a 19. forduló után úriemberként átadta a helyét másnak (a csapat így Jos Luhukayjal zuhant ki az élvonalból, 11 ponttal lemaradva az utolsó, még bent maradást érő helytől). Félő volt, hogy így ér véget eredményes pályafutása.
Szerencséjére 2009-ben Jürgen Klinsmann annyira tönkretette a Bayernt, hogy a BL-indulása is veszélybe került.
A közönség folyamatosan tüntetett ellene, így 5 fordulóval a zárás előtt távoznia kellett. Ekkor jutott eszébe a még akkor is pozícióban lévő Hoenessnek, hogy néhány hétre segítséget kérjen a 'gladbachi nyugdíjastól.
