公邸的替代设施，日本政府虽于第二年在官邸院内修建了一座木结构的两层小楼——日本家，但它仅限于开会和休息，没有首相在此居住。1945年，美军空袭东京，日本家毁于一旦。
1968年，“日本间”修缮一新，重新成为首相住所，佐藤荣作以首相之身入住，且这一住，就是八年。此后，日本首相大都循此例。作为日本战后任期最长的三位首相，佐藤荣作、中曾根康弘、小泉纯一郎在这里度过了五年以上的岁月，为此，坊间流传着住公邸是首相“长命”的秘诀之说。
但就是这“长命”秘诀，安倍晋三偏偏不要。他非要住在东京涩谷区富谷的私宅，让承担警卫工作的东京警视厅倍感压力。内幕人士认为，安倍之所以不愿入住首相公邸，原因可能跟该公邸的易沾“霉运”和“闹鬼”传闻有关，多名入住过首相公邸的日本前首相都对此住所印象不佳，野田佳彦入住没几天就撞伤右眼，小渊惠三决定进行官邸改建后，突然脑溢血不治身亡；就连安倍晋三本人，首次当选日本首相后入住不到1年，就因患了疟疾闪辞。
之后继任的自民党首相们更是拼命拖延入住首相公邸的时间，福田康夫拖了110天才入住，麻生太郎比他还多7天，如今的安倍晋三已成功刷新麻生太郎纪录，成为最怕搬入首相公邸的日本首相。
犬养毅1932年被刺身亡
两次政变为闹鬼公邸提供素材
1932年5月15日，时任日本首相的犬养毅在首相公邸被年轻军官开枪射伤身亡。作为日本护宪派领袖，犬养毅不仅赞成裁军，还主张进一步限制日本海军的规模，这直接引发了日本军方的强烈不满。一些年轻海军军官和民间右翼分子纷纷出谋划策，想要置犬养毅于死地。
刺杀当天，天气晴好。77岁的犬养毅独自在公邸休息，等待医生为其体检。当他得知身体没有任何异常时，犬养毅开心地对医生说，“兴许能再活个100年吧”。当时的犬养毅肯定没料到，几个小时后，自己会命丧他人之手。
下午5点半左右，10余名海军青年将校和陆军士官见习生强行冲入公邸。犬养毅毫不慌张，将他们请到接待室。不久后，接待室内传出“开枪！”的叫喊声和手枪射击的声音。待侍女们赶到现场，意识尚清醒的犬养毅仍流着鼻血说道，“把刚才开枪打我的人带走。好好问问，听他怎么讲。”
原来，在凶手射击前，犬养毅曾说“有话好好讲”，但杀手却以“多说无益，射击”冷冷回应，然后开枪。5个小时后，犬养毅开始大量吐血，但他仍不忘鼓励周围的人，“这是积在胃里的血。不要担心”。直至他彻底闭上眼睛。
据调查，早先的刺杀名单中还包括著名影星查理·卓别林，当时他刚好拜访日本。不过就在犬养毅不幸遇害的同时，首相的三子犬养健正在跟卓别林观赏相扑而逃过一劫。5月19日，犬养毅的葬礼在公邸隆重举行，这是日本首相公邸唯一一次举办葬礼。
刺杀事件结束后，11个杀害犬养毅的冷血凶手遭到军法起诉，但是，在审判前，一份由35万人以鲜血署名的请愿书被送到法庭，他们请求法庭从宽发落。军方的猖狂、民间的同情，加上不如人民预期的“政党政治”，日本人的思想开始逐渐统一，准备迎接军国主义时代的到来。1932年5月26日，以海军大将斋藤实为首的所谓“举国一致”内阁成立，标志着日本政党内阁时代的结束。
可以这样说，这次刺杀事件间接导致了1936年“二二六事件”的发生，4年后，同样的情节再次在首相公邸上演。1936年2月26日，右翼“年轻将校”闯入公邸，刺杀时任首相冈田启介，途中，叛军与四名警察交火，将他们全部击毙。
当时的冈田启介，正与妹夫松尾伝蔵（一名退役大佐）躲在一间当作储藏室之用的洗澡间里，为了打探虚实，松尾决定出去查看局势，不想却被叛军发现，后者误认松尾为冈田本人，在院子内开枪将其杀害。他们在首相房间内找了一张冈田的照片与松尾的脸相比对，觉得杀掉的就是冈田本人，使冈田侥幸逃过一劫。
第二天，在秘书和使女的帮助下，冈田佯扮成吊唁客，混出公邸，重见天日。虽然冈田启介得以逃过一劫，但因此次政变规模大，参与者广，造成很多死伤。
两次政变先后在公邸发生，无数穿着军装的日本人血洒其间，正是因为这些血腥的历史细节，为首相公邸闹鬼之说增添了几分亦真亦幻的效果。
旧官邸（现首相公邸）内
公邸浴室水龙头竟然流出鲜血
由于年代较长和几经修缮，曾在公邸居住过的历代日本首相、特别是首相夫人对居住条件抱有很大的意见，佐藤夫人曾“披露”，公邸的蟑螂有的竟长达四五厘米。第79任首相细川护熙的夫人在接受采访时回忆说，住进去时吓一跳，每个屋子的光线都很暗，房间小得连全家五个人能聚在一起的空间都没有。
2000年9月，时任日本首相的森喜朗在接受采访时就表示，在首相公邸中经常会看见耗子满地乱跑，有时还看到过蛇，“这里简直就不是人住的地方，就像条件非常差的简易旅馆一样。”
心情不好时，森喜朗会抱怨这里就像一间鬼屋。据日本媒体报道，森喜朗曾绘声绘色地描述，他在夜间听见许多穿着军靴的脚步声接近他的门口后停了下来，他慌忙起身踢开门大喊，“谁在那儿？”结果门前没有半个人。于是他马上找秘书官查问，但被告知没有任何人进来，当时他只觉得脊背都凉了。
从任职首相开始，森喜朗就一直不踏实，麻烦不断。由于小渊惠三的突然病倒，森喜朗可谓捡到了首相宝座。后来，他被在野党诟病为政治黑箱作业。上任不久，森喜朗就被传出黑金丑闻、随后又被抖出，大学期间曾在红灯区嫖妓被抓，一连串的负面消息使他的民众支持率大跌。
如此一来，神经脆弱、敏感、高度紧绷的森喜朗，半夜“撞鬼”也就不难理解了。后来，森喜朗把这段灵异经历讲给小泉纯一郎听，小泉虽一笑置之，但自其担任首相后，不急着搬进公邸，而是请了神社的神官去举行驱魔仪式。“看来这确是个令人很不舒服的地方，我宁愿住在旧宅内。”小泉搬入公邸时说。为此，他还让几位亲姐妹轮流到公邸陪他过夜。
自1932年日本首相公邸发生海军青年将校政变和二二六事件后，公邸相关人员之间就不断传出“闹鬼”的传言。据日本《周刊新潮》杂志报道，1989年日本前首相宇野宗佑曾透露，打开浴室水龙头竟流出鲜血；不仅如此，第80任首相羽田孜的夫人也向记者提及，“灵能力者”（类似风水师）对她说“（首相公邸）院子里有很多穿着军装的人”，建议进行驱邪。
日本首相公邸“闹鬼”，不光是谣传，其墙上一直到改建前，都还可以看到当年政变、叛乱时留下的弹痕。2003年首相公邸进行改造时，日本政府动用了230台起重机，以每天2米至3米的速度缓慢进行，最终使它成功往南移动50米。
公邸内部，日本为第一家庭设置了专用生活空间、具有迎接外宾等功能的客房以及能24小时进行信息收集和指令下达的办公场所，庭院内还设有紧急出行用的直升机停机坪。即便如此现代化，首相公邸仍然无法扼制“闹鬼”的传言。前首相野田佳彦搬入首相公邸前就向记者抱怨：“首相公邸闹鬼，我夫人觉得很不舒服。”前首相鸠山由纪夫夫人更是直接表示，她曾在公邸见过鬼。
2013年3月，一名小学6年级学生在参观完公邸后说，“好像一到晚上就会出来鬼，里面太昏暗了，让人毛骨悚然。”关于公邸的灵异事件，内阁会议回复：“确有传闻，但政府并不知情”，并反问“闹鬼传闻是真的吗？”对此，我们只好借用内阁官房长官菅义伟的话“要这么说的话，好像是吧”草草作答。
不过，可以预见的是，一个幽灵，穿军装的幽灵，已成为日本首相公邸挥之不去的魅影。今后，他们还将和日本首相继续纠缠下去。
