Karanka 1973. augusztus 18-án született Baszkföldön, Vitóriában, de mivel akkor a helyi klub, a Deportivo Alavés még korántsem volt olyan sikeres, így a legpatinásabb baszk egyesületben, az Athletic Bilbaóban kezdte pályafutását. Tizenkilenc esztendősen már a klub B csapatában futballozott, és a másodosztályban egyetlen találkozót sem hagyott ki. A következő idényt is ott kezdte, de a bajnokság felénél felvitték őt az első csapathoz, és 1993. november 7-én a Celta Vigo elleni találkozón bemutatkozhatott a Primera Divisiónban.
Akkortól kezdve már a felnőttek között futballozott, bár első két idényében többnyire csak kiegészítő ember volt. A kezdő csapatba igazán csak az 1995-96-os szezonban verekedte be magát, amikor is 31 meccsen szerepelt. A következő bajnokságban erre is rátett egy lapáttal, 37 találkozón lépett pályára, és abban az idényben szerezte meg első, és eddigi egyetlen élvonalbeli találatát. Teljesítményére a fővárosban is felfigyeltek, és 1997 nyarán a Real Madrid szerződtette.
A fővárosi együttesben eleinte csak csere volt, és egy sérülés is hátráltatta abban, hogy beépüljön a királyi gárdába. Igazán csak a legutóbbi szezonban lett alapember, amikor is mindössze három találkozóról hiányzott a bajnokságban. A nyáron igen kedvező szerződést ajánlottak neki, ám menedzsere, Miguel Santos tanácsára visszautasította azt, abban bízva, hogy még jobb kontraktust kaphat. Ez a húzás azonban nem jött be, és most már annyit sem ajánlanak neki, mint korábban. Karanka azonban a hírek szerint nincs elkeseredve, mert saját elmondása szerint két, a Bajnokok Ligájában szereplő angol klub is érdeklődik iránta.
Korábban: