A judaizmusnak több mint háromezer éves gyökerei vannak a városban, itt állt az első és a második templom is, az utóbbiból maradt meg a Siratófal, ami a zsidó vallás legszentebb helye. A kereszténységnek a Nagy Konstantin római császár építetett Szent Sír-templom miatt fontos, aminek helyén a hagyomány szerint Jézust keresztre feszítették. A Kr.u. VII. században megjelent iszlám vallás a harmadik legszentebb helyként tartja számon Jeruzsálemet, szerintük Mohamed prófétát ott emelte Allah a Mennybe, ennek a helyén áll a Szikladóm, mellette pedig az al-Aksza mecset.
Jeruzsálemnek eléggé hányatatott sorsa volt az elmúlt kétezer évben. Kr. e. I. században került római uralom alá, ez ellen Kr. u. 70-ben felkelés tört ki, de Titus római császár leverte azt, a várost a templommal együtt pedig leromboltatta. A második Bar-Kochba-felkelés után halálbüntetés terhe alatt megtiltották, hogy a zsidók továbbra is ott éljenek, ennek ellenére néhány évtizedet leszámítva a judaizmus jelenléte a városban folyamatos volt az utóbbi háromezer évben. 638-ban a muszlim arabok hódították meg. A XI.-XIII. századok között felváltva szunnita szeldzsuk és keresztes uralom alatt állt, a XVI. század elején került oszmán uralom alá egészen 1917-ig, amikor bevonultak a britek.
Az ekkor kiadott Balfour-nyilatkozat előirányozta egy zsidó nemzeti otthon megteremtését Palesztinában brit mandátum alatt, de ehhez hasonló ígéretet az oszmánok ellen harcoló araboknak is tett az Egyesült Királyság. Tulajdonképpen ide vezethetőek vissza a jelenkori palesztin-zsidó ellentétek.
Már a '20-as évektől összecsapásokra került sor a betelepülő zsidók és a muszlimok között. Az ENSZ 1947-es 181. számú határozata értelmében az egykori brit gyarmaton egy zsidó és egy palesztin államot kell létrehozni, Jeruzsálemet nemzetközi ellenőrzés alá kell helyezni, de a város keleti része a még nem létező palesztin állam fővárosa kell legyen.
1948. május 14-én Dávid Ben-Gúrión kikiáltotta Izrael Állam függetlenségét, amit gyorsan el ismert a nemzetközi közösség. Független Palesztina azonban mind a mai napig nincs. Jeruzsálem nemzetközi ellenőrzése végül nem valósult meg, mert az arabok azt megakadályozták. Ennek hatására Izrael 1950-ben a zsidó állam fővárosának kiáltotta ki a Jeruzsálemet, de ezt nagyon kevés állam ismerte el. A hír hatására Jordánia elfoglalta a város keleti felét, ahol a három világvallás szent helyei találhatóak.
1967-ben a hatnapos háború során Izrael annektálta Kelet-Jeruzsálemet és okkupálta Ciszjordániát.
A zsidó állam teljes vallásszabadságot biztosított minden ott élőnek, a Templom-hegy ellenőrzését pedig a helyi iszlám hatóságok kezén hagyta, a Szikkadómba és az al-Aksza mecsetbe nem muszlimok be sem léphetnek.
Jeruzsálem vallási összetétele
A 2011-es népszámlálás adatai szerint a város lakosságának a 62%-a zsidó, 35%-a muszlim, 2%-a pedig keresztény. Jeruzsálem keleti felében a muszlimok enyhe többségben vannak (57%), bár ezt az izraeli hatóságok igyekeznek megváltoztatni a zsidó lakótelepek építésével, ami palesztin értelmezés szerint ellentétes a nemzetközi joggal.1980-ban az egységes és oszthatatlan Jeruzsálemet Izrael fővárosának deklarálták az iszlám világ felháborodása ellenére. Amerika a világ legtöbb államához hasonlóan a döntést azonban nem ismerte el. 1988-ban a Palesztin Felszabadítási Front (PFSZ) egyoldalúan kikiáltotta Palesztina függetlenségét, Kelet-Jeruzsálemet pedig fővárosnak nevezte, de a nemzetközi közösség meghatározó tagjai (USA, Egyesült Királyság, Franciaország, Németország, stb.) ezt nem ismerték el, de ennek ellenére tartanak fenn diplomáciai kapcsolatot a palesztin hatóságokkal. A független Palesztina így nem jött létre és ezen az oslói békefolyamat sem tudott változtatni.
Jelenleg csak kevésbé fontos latin-amerikai államok nagykövetségei találhatóak a szent városban. Az Egyesült Államok kongresszusa 1995-ben egy határozatot hozott arról, hogy a nagykövetségét áthelyezi Tev-Avivből Jeruzsálembe, de az arab országok ellenállása miatt ezt a döntést a mindenkori amerikai elnökök késleltették végrehajtani. Most úgy tűnik, hogy Donald Trump nem fogja aláírni az ismételt halasztást, ami várhatóan óriási botrányt fog kiváltani, Mahmúd Abbász palesztin elnök fenyegetései szerint akár a harmadik intifáda is kitörhet.