公元前11世纪，古代以色列国王大卫统一了犹太部族，建立了以耶路撒冷为首都的以色列王国。
传说犹太先祖亚伯拉罕在耶路撒冷的摩利亚山（有称锡安山，即今圣殿山）领受上帝旨意、祭献儿子；他的孙子雅各在此和天使摔跤，并被赐名“以色列”（与神角力）。
为了纪念犹太民族最神圣的地方，公元前1010年所罗门王动用20万人，开始在耶路撒冷圣殿山修建圣殿，用以朝拜和祭奠犹太教的主神，并存放约柜（内置刻有十戒的两块石板）、诺亚方舟等圣物。于公元前957年竣工。建成后的圣殿长30米、宽10米、高15米，雄伟非常，号称是上帝的所在。即犹太“第一圣殿”。这里随之成为犹太人的宗教和政治活动的中心。但好景不长，公元前586年，巴比伦王杀到这里，他赶走了犹太人，把第一圣殿付之一炬，彻底摧毁。直到公元前538年，波斯王居鲁士灭了巴比伦后，犹太人才被允许返回，并得到归还的5000多件圣殿物品。于是犹太人在公元前516年动手在第一圣殿的原址上建造第二圣殿。到了公元70年，罗马帝国的皇帝希律王统治时期，极力镇压犹太教起义，数十万犹太人惨遭杀戮，绝大部分犹太人被驱逐出巴勒斯坦地区，耶路撒冷和圣殿几乎被夷为平地，第二圣殿自然未能幸免，同时被焚毁。在此后的几百年里，犹太人曾再度修建第二圣殿，又被罗马人摧毁。后来仅留下西部一段断垣残壁，以后人们捡拾破坏的石块修建了这段护墙。使其得以保存下来。罗马时期，每年11月9日圣殿毁灭日这天，才准许世界各地的犹太人到圣殿西墙遗址祈祷。
公元7世纪，阿拉伯人在耶路撒冷建立阿拉伯帝国，由于帝国内部实行比较宽容得宗教政策，所以没有对哭墙进行彻底的拆除和损坏，而是在修建岩石清真寺和阿克萨清真寺的时候，把它作为围墙加以利用，因此才使西墙历经千年历史仍然保存至今。当然，建造第二圣殿时候选用以巨大条石作为建筑材料，也是哭墙能够比较完好保存至今的原因之一。尽管该围墙现为伊斯兰圣地岩石清真寺和阿克萨清真寺西墙的一段，但犹太人仍然把它视为本民族信仰和团结的象征。今每逢犹太教安息日时，尚有人到哭墙去表示哀悼。加之现在整个耶路撒冷老城和圣殿山地区全部被以色列控制，巴勒斯坦人要进入岩石清真寺和阿克萨清真寺作礼拜，也必须经过以色列军警的审查方可通过。哭墙周围也被以色列进行了清理和修整。因此，哭墙虽然仅仅是一段不起眼的石头围墙，来此朝拜和祈祷的犹太人和旅游者则络绎不绝，哭墙的名气也非常的大。
说起来，犹太人这个民族，也是一个灾难深重的民族，一个令人同情和令人尊敬的民族。自从公元前6世纪起，巴比伦帝国打败以色列之后，对犹太人实行赶尽杀绝的政策，犹太人就开始了流离失所的流亡生活。以后虽然又回归到中东一带生活，但是从来也没有建立起自己强大的能够保护犹太人不收侵犯的国家。后来罗马帝国占领了这一地区，同样容不得犹太人的存在，当时犹太人的地位比现在巴勒斯坦人的地位还要低，犹太人随时都有被驱逐被杀戮的危险。犹太人始终生活在动荡和流浪之中。特别是第二次世界大战期间，希特勒对犹太人恨之入骨，以斩尽杀绝为后快，因此，惨遭德国法西斯杀害的犹太人高达600多万。可以说，在长达两千多年的时间里，犹太人都过着颠沛流离的生活。直到1948年，在美国的支持下，以色列在耶路撒冷建国，犹太人从真正结束了自己悲惨的命运。我们现在都知道，犹太人是最聪明的人，是最会做生意赚钱的人，这可能和犹太人的悲惨命运有关系。悲惨的命运让犹太人具有高度的危机感，让他们更加能吃苦，更加具有生存能力，让他们奋斗不息。
这些惨痛的历史遭遇，深深地印在犹太人的心灵之中，哭墙便更被犹太人视为信仰和团结的象征。直到如今，哭墙脚下经常有来自世界各地的犹太人，他们或围着一张张方桌做宗教仪式，或端坐在一条条长凳上念诵经文，或面壁肃立默默祈祷，或长跪在地悲戚啜泣。逢宗教节日，祈祷者及游人更多。
