Provenzano 1933. január 31-én született a szicíliai Corleonéban. Hét testvére közül ő volt a harmadik gyerek, a család földműveléssel foglalkozott. Tízéves volt, amikor otthagyta az általános iskolát és a mezőkön dolgozott. Kései kamaszéveiben csatlakozott ahhoz a Corleone maffiacsaládhoz, amelyet Michele Navarra vezetett. Csakhogy ő nem hozzá, hanem a riválisához volt hűséges Luciano Leggióval, akivel
jó viszonyt ápolt.
Huszonegy éves volt, amikor berendelték katonának, de végül egészségügyi okokból elbocsájtották.
Az 1950-es évek közepén részt vett a Navarra és Leggio között kirobbant nagy maffiaháborúban.
1958 augusztusában egyike volt a 14 fegyveresnek, akik meggyilkolták Michele Navarrát. Így lett később Leggio a család feje. A következő 5 évben vadászni kezdtek Navarra embereire, támogatóira, miközben Provenzano szép lassan feljebb került a Cosa Nostra ranglétráján.
1963. szeptember 10-én kiadtak ellene egy körözést, miután nem sikerült megölnie Navarra egyik emberét.
Provenzanónak így menekülnie kellett, és sikerült is eltűnnie: mire a nyomozók a nyomába eredtek, már csak hűlt helyét találták. A rendőrök dolgát az is nehezítette, hogy a maffiavezérről nem volt fotójuk, a legfrissebb fénykép ugyanis még 1959-ben készült a férfiról.
A rendőrség 43 éven át kereste a maffiavezért, és sokan azt hitték, hogy a férfi valójában meghalt.
Közben, 1974-ben jó barátját, a banda vezetőjét, Leggiót elkapták, és egy gyilkosság miatt börtönbe került. Helyére Salvatore Toto Riina került, akinek jobbkeze lett Provenzano. Ő irányította a klán pénzügyeit, és a heroinkereskedelmet is. Ebben az időszakban a szicíliai és az amerikai maffia között feszültség alakult ki. Az új capo di tutti capi, Carmine „Lilo” Galante lett, aki Szicíliából hozatott bérgyilkosokat, hogy megoldja az amerikai konfliktusokat. Csakhogy az amerikai Cosa Nostra tagjai között ezért újabb feszültség támadt. Annyira, hogy az amerikai maffiatagok megölték Galantét, aztán elszakadtak a szicíliaiaktól.
A nyolcvanas évek elején volt egy második maffiaháború, amely alatt Riina a többi szicíliai család fölé került. A háború alatt több mint ezer embert öltek meg.
Az amerikai maffiát egészen 1985-ig a Gambino család feje, „Big Paul” Castellano vezette, miközben Szicíliában Riina állt a helyi szervezet élén. Mindketten jelentős korszakhatárt hoztak el a saját bandájuk működésében.
Castellano korlátozta a kábítószer-kereskedelmet, tiltotta a rendőrgyilkosságokat és szervezetét visszafogottabb akciókra ösztönözte. Riina viszont kegyetlen volt, és vasszigorral irányította a szicíliaiakat.
1993-ban, amikor Riinát is letartóztatták Giovanni Falcone és Paolo Borsellino egy évvel korábbi meggyilkolása miatt, Provenzano lett a Cosa Nostra főnöke.
De mivel őt akkor már hosszú évek óta kereste a rendőrség, távolról irányította a maffiát, miközben elrejtőzött. Csak néhányan tudták, hogy valójában hol bujkál.
Visszaállította a maffia régi elveit, amelyeket Riina a vezetése alatt megszüntetett. 2005-ben a rendőrség ráállt a maffiára, és több mint száz tagot és támogatót tartoztattak le. Azonban Provenzanót még akkor sem sikerült elfogniuk.
Végül 2006. április 11-én fogták el egy palermói parasztházban, nem messze Corleonétól.
Egyes források szerint éppen ugyanúgy bukott le, mint Oszama bin Laden – a futárját követték.
Provenzano felesége csomagot küldött a férfinak, amit két futár, egymást váltva vitt el neki. Az egyik mindig csak Corleone körzetig vitte a küldeményeket, ez tűnt fel a rendőröknek és vezette el őket a főnökök főnökéhez. Amikor elfogták, a nadrágzsebében megtalálták a leveleket, amiket a futár vitt neki. Nemcsak a családtagjaival, de a híveivel is tartotta a kapcsolatot.
Háromszoros életfogytig tartó börtönbüntetésre ítélték.
Egy kiemelten szigorúan őrzött börtönben tartották fogva Olaszországban, ahol a celláját is bekamerázták, és csak az ügyvédje látogathatta.
2011-ben rákos daganatot találtak a szervezetében, és folyamatosan romlott az állapota. Provenzano többször is megpróbálta megölni magát a börtönben, de végül mégis húgyhólyagrákban halt meg 83 évesen egy milánói börtön kórházában. Elhamvasztották, majd a hamvait Corleonéba vitték, ott temették el.