Joe Zawinul 1932-ben született Bécsben, majd a gyermekként átvészelt második világháború után ott végezte el a konzervatóriumot is, zongora szakon. Tehetségének köszönhetően, rögtön talált is a végzettségének megfelelő állást: egy ideig koncert-zongoristaként szórakoztatta az osztrák közönséget. Zenei ízlése azonban már ekkor az amerikai gyökerű dzsessz felé hajlott (példaképe Duke Ellington volt), így 1958-ban megpályázott és el is nyert egy ösztöndíjat, mellyel a bostoni Berklee School of Musicban tanulhatott tovább. Ennek eredményeképpen, a következő három év alatt már olyan nagyságok mögött billentyűzhetett, mint Maynard Ferguson, Slide Hampton vagy Dinah Washington. 1961-ben aztán beszállt a szaxofonvirtuóz Cannonball Adderley csapatába, ahol a hard bop műfaj trükkjei mellett, megtanulhatta azt is, hogyan lehet a közönség szívébe férkőzni: Adderley ugyanis a kortársaitól elütő vidám, életteli játéka és a számok közötti magyarázó (tehát a zenét közérthetővé tevő) kiszólásai miatt, az egyik legnépszerűbb dzsesszmuzsikusnak számított akkortájt. Zawinul kilenc évig játszott együtt a zenekarral, ő szerezte legnagyobb slágerüket, az azóta már klasszikussá vált Mercy, Mercy, Mercy-t is.
Ezután, ha lehet, egy még nagyobb sztárral hozta össze a sors: Miles Davis két albumán is közreműködhetett. Davis ekkoriban kezdett el érdeklődni az elektronikus zene iránt, aminek dzsesszbe olvasztásához kapóra jött neki, az ekkor már szintetizátoron játszó Zawinul kísérletező kedve. A dzsesszkirály első elektronikus albumának (In A Silent Way) címadó dalát végülis a bécsi fiú írta meg, aki a kedvező fogadtatás után, a Bitches Brew lemezen is jelentős szerepet kapott. Zawinul az itt elkezdett zenei vonalat ezután már saját együttesében vitte tovább: ez volt a Wayne Shorterrel közösen alapított Weather Report, amely a fúziós mozgalomba bekapcsolódva, az elektronikus dzsessz és a rock sajátos elegyét alkotta meg, a középpontban, fő teremtő erőként, az improvizációval. Amellett, hogy a közönség körében mindmáig ők az egyik legnépszerűbb dzsesszbanda, olyan kultikus dalok is köthetők a nevükhöz, mint a Black Market vagy a Birdland. Ez utóbbit egyébként, azóta már standardként tanítják zeneiskolákban, és ez a dal hozott a Weather Report mellett, későbbi feldolgozóinak, a Manhattan Transfernek és Quincy Jones-nak is egy-egy Grammy-díjat.