Rossi 1964. július 20-án látta meg a napvilágot Cesenában. Pályafutását is a helyi csapatban kezdte, és már tizenöt esztendősen a nagycsapat keretéhez tartozott. A Cesena ekkor a másodosztályban vitézkedett, majd 1981-ben egy szezonra felkerült a legjobbak közé.
Rossi itt sem debütálhatott a nagycsapatban, és amikor a Cesena visszazuhant a második vonalba, akkor kölcsönadták őt a C-ligás Forliba. Itt tizenegy találkozón védett, amikor visszahívta őt a Cesena, hogy továbbra is a kispadra ültesse. Ezt 1984-ben unta meg, és az Empoliba igazolt, de itt sem szerepelt egyetlen találkozón sem.
1985-ben megint a C-ligába szerződött, ezúttal a Rondinella Firenze csapatába, ahol végre játéklehetőséghez jutott, huszonnyolc találkozón védett. Olyan jó teljesítmény nyújtott a toszkán kiscsapatban, hogy visszahívta őt a Cesena, és most már valóban első számú portásnak. A B-ligában harminchárom mérkőzésen mindössze huszonkét gólt kapott, ami jelentősen hozzájárult csapata feljutásához.
A Cesenával összesen három szezont töltött el a legjobbak között, összesen kilencvennégy összecsapáson védve a klub kapuját. 1990 nyarán aztán az az Arrigo Sacchi hívta az AC Milanba, aki annak idején a Cesena ifjúsági csapatánál edzője volt.
Első évében még csak cserekapus volt Antonioli mögött, csak kilenc meccsen védett, de a következő évtől már ő volt az egyes mez viselője. Részese volt a Milan nagy korszakának, és négyszeres bajnoknak, háromszoros olasz Szuperkupa-győztesnek, BEK-győztesnek és európai Szuperkupa-győztesnek mondhatja magát.
Ő tartja az olasz "gólmentességi" rekordot, az 1992-93-as bajnokságban ugyanis 929 percig volt érintetlen a kapuja. Sorozatos megbízható teljesítménye ellenére sem volt szerencséje a válogatottal, a squadra azzurra mezét ugyanis egyszer sem húzhatta magára. Specialitása a tizenegyesek hárítása, előfordult, hogy egymás után két bajnokin is kivédett egy büntetőt. Az elmúlt években egyre kevesebb lehetőséget kapott, a legutóbbi pontvadászatban egyáltalán nem lépett pályára, szerződése lejártával pedig távozott Milánóból. Ő azonban úgy gondolta, hogy még képes az élvonalban védeni, és a Perugia ajánlata kapóra jött a számára.
Hobbija egyébként a horgászás. Hiába, egy kapusnak néha szüksége van egy kis nyugalomra.