A 31 éves játékos a Prágától 50 km-re lévő Dobris kastélyában vette feleségül Hedvika Kankovát, akivel Belgiumban ismerkedett meg, amikor még az Anderlecht játékosa volt. A pár néhány éve már együtt él, és van egy 10 hónapos kislányuk, Hedvika.
A vendégseregben ott volt Koller dortmundi és válogatottbeli játékostársa, Tomas Rosicky is. Kollernek és nejének csak röpke nászútra lesz lehetősége, mivel a cseh együttes csütörtökön utazik a szombaton kezdődő portugáliai Európa-bajnokságra.