La Città Vecchia di Gerusalemme è quella parte della città che si trova dentro le mura. Il nucleo originario dell'abitato, invece, chiamato Città di David ed edificato sul monte Sion, è rimasto esternamente alle attuali mura, verso Sud.
Le mura attuali definiscono un territorio posto a nord della Città di David, distrutta durante la prima guerra giudaica dalle truppe romane comandate da Tito Flavio Vespasiano.
Sion, se non era fortificata al tempo dei Gebusei, lo fu certamente con Davide, mentre suo figlio Salomone occupò la parte settentrionale del colle, la cima Moriah e vi fece costruire il Tempio di JHWH, laddove oggi vi è la Moschea di Omar.
Al tempo del re riformatore Ezechia le mura percorrevano, oltre al nucleo vecchio, tutti i lati del Gareb, collina a ovest di Sion. La Città di David, posta a un'altitudine minore, fu detta "Città bassa", mentre la "Città alta" era il Gareb. A Nord si stendeva, sul cosiddetto "sperone centrale", una propaggine meridionale del Golgota, la zona del mercato, il maqtesh, anch'esso difeso da mura, dette "di Manasse".
Erode Agrippa I, detto anche "Il Grande", inglobò nella città i suburbi settentrionali, detti mishneh, cioè città nuova.
Dopo Tito, Gerusalemme assume una veste nuova, il Tempio distrutto venne sostituito dal Tempio di Giove, e la città fu ribattezzata Aelia Capitolina.
La città vecchia consta di quattro quartieri: cristiano, ebraico, musulmano, armeno.
A seguito delle due grandi guerre giudaiche, nel 70 e nel 135, i Romani distrussero la città e dopo la seconda conquista ne cambiarono addirittura il nome trasformandola nella città pagana di Aelia Capitolina, e vietando in essa la residenza agli ebrei. Dopo Costantino, finite le persecuzioni contro i cristiani, la città divenne cristiana e vi venne eretta la prima Basilica del Santo Sepolcro. Rimase cristiana fino al 638 quando fu conquistata dagli arabi che eressero sulla spianata del tempio due moschee.
È così storicamente, che si possono spiegare tre quartieri. Particolare è invece l'origine del quartiere armeno: a cavallo tra l'Ottocento e il 1900, i turchi, sotto la spinta dell'ideologia del panturanesimo (cioè unire tutte le popolazioni turche sotto un'unica egida), decisero di spazzar via dalla terra Curdi e armeni che si frapponevano, geograficamente, a questo obiettivo (vedi Genocidio armeno).
Della diaspora armena, quindi, fa parte un consistente flusso migratorio verso la Città Santa.
I quattro quartieri sono divisi da strutture dell'antica città romana: la zona Ovest, cristiana e armena, è separata da musulmani ed ebrei dal cardo maximus, mentre è il decumano, con asse EstOvest, a dividere i quartieri cristiano e islamico a Nord, da armeni ed ebrei a Sud