Rudi Völler 90 alkalommal volt válogatott és 1986-ban is vb-döntőt játszhatott Mexikóvárosban. Akkor csereként állt be és ő egyenlített 2-2-re az argentinok elleni fináléban. Ez azonban kevés volt, mert a dél-amerikai csapat nem sokkal Völler gólja után újra betalált, így Maradonáék lettek a világbajnokok.
Völler összesen 8 gólt lőtt világbajnokságokon, amúgy a nemzeti csapatban 47-szer volt eredményes.
Profi klubcsapatai között ott találjuk a Werder Brement, az AS Roma-t, a Marseille-t, a Bayer Leverkusent, az 1860 Münchent és az Offenbachot is.
A 2000-es Eb-n a német csapatot irányító Erich Ribbecket elküldték a válogatott rossz szereplése miatt. Völlert nevezték ki a helyére, annak ellenére hogy nem volt edzői engedélye. Eleinte csak egy évre szólt a szerződése, de az utódja Christoph Daum kábítószer botrányba keveredett, ő pedig a válogatott élén maradt. Annak ellenére hogy hazai pályán kikaptak Angliától 5-1-re, a 2002-es világbajnokságon ő irányította a csapatot.
A világbajnokságon a döntőben csak Brazília tudta legyőzni őket.
2004-ben az Európa bajnokságon a német válogatott már a csoportkörben kiesett és Völler lemondott a kapitányi posztról.
Rudi Völler jelenleg a Bayer Leverkusen sportigazgatója.