A 44 éves sportoktató megbízatása két évre, 2006. július 31-ig szól. Kinevezésével teljessé vált a DFB által Rudi Völler szövetségi kapitány júniusi lemondása után megálmodott "hármasfogat", amelyben Jürgen Klinsmann a vezetőedző, Oliver Bierhoff pedig a menedzser feladatkörét tölti be a nemzeti tizenegy mellett.
Löw egy ideig a VfB Stuttgartnál dolgozott - utánpótlás vonalon -, amikor annak csatársorát még Klinsmann erősítette. Később számos külföldi országban kamatoztatta edzői képességeit. Ezáltal eleget tesz a DFB elnöksége által szabott kritériumnak, amelynek értelmében az edzőként "zöldfülű" Klinsmann mellé egy több éves edzői és Bundesliga-tapasztalattal rendelkező segítőtársra van szükség.
Ezeket a tapasztalatokat emelte ki a DFB frankfurti székházában elhangzott bejelentés után a vezetőedző is. Klinsmann hangsúlyozta, hogy asszisztensében semmiképpen sem "kulisszatologatót" lát, hanem olyan munkatársat, akire felelősségteljes munkát bízhat.
Löw 1996 és 1998 között irányította a VfB Stuttgart csapatát; vezetésével az egyesület megnyerte a német kupát, és bejutott a Kupagyőztesek Európa Kupájának döntőjébe. 1998 nyarán a jelenlegi DFB-elnök, Gerhard Mayer-Vorfelder (aki akkor Stuttgartban volt klubelnök) küldte el az egyesülettől. Ezután Löw a török Fenerbahce, majd az osztrák FC Tirol edzője volt. Utóbbival bajnokságot nyert 2002-ben. A tiroliaktól a bécsi Austriához szerződött, ám onnan idén tavasszal elbocsátották, azóta nem volt állása.