海瑞结过三次婚，又有两个小妾，第一位夫人生两个女儿被休
海瑞结过三次婚，又有两个小妾。他的第一位夫人生了两个女儿，被休；第二位夫人刚刚结婚一月，被逐；第三位夫人则于隆庆三年（公元1569年）在极为可疑的情况下死去。第三位夫人和小妾一人先后生过三个儿子，但非死即痨，无一幸存。
海瑞的婚姻相当不幸，他的婚姻也会引起旁人对他自身品格的质疑。有人说他薄待女眷近乎行政上的酷虐；有人则指责他溺于闺阁欢娱，“猥亵狎昵多有人所不堪者”；说法种种，均无可考。明末黄元侃的一本《士大夫家史小考》，却提供了别样的线索。黄元侃称，海瑞的结发夫人王氏，为琼山县“第一天足”，在婆家精熟女红、擅为家纺，很受邻里夸奖。后来海瑞赴福建南平，官小，大概还没有随带家眷的资格，婆媳俩就在琼山闹翻了，“瑞以母命难违”，只好出妻。当时，《妇训》里规定了“休妻七条”，王氏先是因为“婚后无嗣”，后又犯了“忤逆不孝”，只好留下一双女儿，委委屈屈地走了。
海瑞谢世前，有一本《海瑞集》付梓，但对椒韭豆角的家事却未丝毫提及，倒是在他写给明世宗的奏疏上，说到“天旱地涝、饥民狂奔”的景况，突然冒出一句：“骨肉离散，夫妇分袂，其状实有不堪者。”（见《海瑞上疏》）这句话，不同于他在其它奏章里惯用的行文风格，其情凄切，感同身受，多少让我们窥及了他深埋于心底的冰山一角。
海瑞三岁丧父，当年二十八岁的寡母谢氏，并未觅枝再醮，海南琼山凄苦的海风，吞噬了棕榈林里孀居的小石屋。海瑞的父亲留下了分散在九十七处的四十亩地产，海瑞的寡母便把生的希望寄托在这九十七处田地上。谢氏是一位刚强的女性，海瑞刚会走路，就对他口授经书，晓以宫商；海瑞六岁，入“红城私塾”；二十岁，列“琼乡俊彦”；直到海瑞中了乡举，谢氏才“颓乎榻间”，大病了一场。海瑞曾在一篇《孝悌集录》的文章里，说到过自己的寡母，称谢氏“每每情事窘艰而耻于求贷”，感念她“鞠育之恩如膏露之隆也”，所以，自己纵然肝脑涂地，“割股相予”，也不能“效孔鲤之孝于万一也”。海瑞对寡母深怀着怎样一种感情，由此可以看出一些头绪。海瑞去福建做官时，谢氏已经六十四岁，六十四岁的老太太跟儿媳闹翻了，海瑞的妥协成为必然。
然而，海瑞又有了第二次“出妻”。这位新夫人还没把海瑞的床头焐热，就被谢氏的苕帚逐出了家门。面对这种“横刀夺爱”式的制裁，海瑞的尴尬不言自明，特别像他这样一个惯于把“夺俸”与“杖责”滥施于属僚的护法斗士，此刻的遭际，多少让他体会了“君在瓮中”的苦涩滋味。然而“苕帚”就是法律，母命如同懿旨，海瑞的第二次婚姻也只能无果而夭，匆匆谢幕。
到了隆庆三年（公元1569年）的八月，海瑞任南直隶巡抚的新职刚刚发表，他坐镇应天，靖南绥边，官场上的风头正健，未料后院起火，一妻一妾竟在一夜之间同时死去。这样的家庭悲剧，虽不同于欢场艳事或闾巷间的秽闻，但它引起人们关注的程度仍不可小觑，特别是事关人命，而且，海大人又是法律的化身，执法的楷模。于是，市井屠户，官商士绅，各色人等都充满了观望的热情。果然，时隔不久，给事中戴凤翔就对他发起了猛烈的参劾。戴凤翔说，大丈夫“退不能齐家进何以辅国”，况且海瑞“家口不绥，人所共目”，一妻一妾在同一天死去，很可能出于谋害或虐杀。在此之前，海瑞正在推行“一条鞭”新法，田产的纷争已使他在官绅阶层失去了普遍的拥护，现在又碰上这档子事情，他还真有点“仰天王八急打转”的窘促。海瑞答辩说，“他的侍妾是在八月十四日自缢的，而夫人则于同月二十五日病死，旁人的说法‘皆是凿空构陷，殊非情实也’”。
还是先前的“公众形象”救了海瑞自己，一个清名在外，而且在作风上向来苛于自律的朝廷命官，人们难以想象，他会是虐杀妻妾的真正凶手。于是，人们把疑窦丛生的目光，自然而然地投向了幕后的谢氏。这谢氏守寡五十多年，难免性情古怪，处事刻板，要说因为子息不嗣逼迫儿子连连休妻，多少还能搪塞得过去，但在她领牧下的海氏家庭，内眷们“自缢”的“自缢”，猝死的猝死，到底让人疑心她是否有某种人格上的缺失甚或精神方面的变态？
有史料证明，海瑞在江西知县任上，曾申请为谢氏建造一块“瑶池冰雪”的贞坊，未果；海瑞出狱，初任大理寺右寺丞，他再次提出相同的申请，搁置未复。拖到隆庆三年（公元1569年）五月，眼看海太夫人要过八十寿辰，上司才呈请皇帝赏了她一个“四品夫人”的头衔。这个结果使海瑞，特别是谢氏，在感情上遭受重大的挫折，一个守节终生的寡妇，在她的耄耋之年尚且不能得到“旌表为节妇”的荣誉，一辈子的念想与期待终成虚空的幻灭。有学者认为，“家事蜩螗”是谢氏得不到表彰的重要原因。
海瑞不是一个合格的丈夫，他无力保护自己的妻子；海瑞也不是称职的父亲，他甚至养活不了自己的孩子；然而，海瑞真是一个民口皆碑的“孝子”吗？
这个问题煎熬着年迈无嗣的海瑞，伴随他在椰风汹涌的琼山度过了十五年孤单无眠的退隐时光。
海瑞终于死了。就在海瑞的灵柩启运之日，一位行色匆忙的京官送达了一副挽联，这副挽联被醒目地挂在灵柩经过的石库门两侧，联云：“历事三圣，黎民有口皆碑传清名，处处颂唱；独驾千古，吾朝无心为霓叨天意，人人歌哭。”
（本篇完）