Édesapja, Anthimosz Kapszisz a Panathinaikosz legendás focistája volt, játszott az 1971-es BEK-döntőn és az 1980-as Európa-bajnokságon. Mihalisz az Arisz Nikeában kezdte pályafutását, ahol már 17 évesen a felnőttek között szerepelt a másodosztályban. Később focizott az Anagenniszi Artában, majd a másodosztályú Ethnikosz Pireuszba szerződött, amellyel egy év alatt feljutott az élvonalba. Egészen 1999 januárjáig itt futballozott, ekkor vette őt meg az AEK Athén. Itt egy év kivételével alapember volt: a 2001-2002-es szezonban csak hat meccsen játszott, mert az egyik edzésen összeverekedett csapattársával, Atmatszidisszel, és hosszú időre a tartalékok közé száműzték. Sikerült azonban visszaverekednie magát az első csapatba, sőt, a válogatottba is bekerült, a nemzeti csapatban az Eb-selejtezők során Raúlt és Andrij Sevcsenkót is levette a pályáról.
Tavasszal nem sok sikerélmény érte, legalábbis klubja színeiben, mert az AEK csak negyedik helyen végzett a görög pontvadászatban, ami a patinás egyesületnél egyértelműen csalódásnak számít, arról nem is beszélve, hogy az athéniak pocsék anyagi helyzete miatt a focisták hangulata sem volt valami jó. Kapszisz ráadásul sérüléssel is bajlódott, és viszonylag kevés mérkőzésen szerepelt az év első felében klubcsapatában.
Szerencséjére a válogatottnál így is számításba vették, és az Európa-bajnokságon önmagát felülmúlva teljesített. Egyetlen másodpercet sem hagyott ki a görögök meneteléséből, és bár voltak gyengébb megmozdulásai (a spanyolok elleni csoportmeccsen például az ő hibája eredményezte a hispánok találatát), az egyenes kiesés szakaszban hibátlanul futballozott, és Trajanosz Dellasszal áthatolhatatlan falat húzott a kapu elé.
Természetesen ott volt a torna álomcsapatában is, és mindenki biztosra vette, hogy a nyáron Nyugat-Európába igazol. Így is történt, bár "csak" a francia Girondins Bordeaux vette meg, annak ellenére, hogy potom félmillió euró volt a vételára. A bordeaux-i együttesben természetesen alapembernek számít, és nem is futballozik rosszul, vezérletével a Girondins védelme az egyik legjobbá vált a Ligue 1-ben. Kiemelkedő Eb-szereplése miatt ott van a helye az ötveles listán.