接著海瑞又娶了王氏夫人。王夫人比較爭氣，在海瑞到達淳安之前兩年為海瑞生了個兒子，取名中砥。海瑞到淳安任上之后的當年，王夫人又為海瑞生了個兒子，取名中亮。王夫人還生了個女兒，不過什么時候生的不太清楚。嘉靖四十三年(1564)十月海瑞被調到北京戶部(財政部)工作，海太夫人不喜歡到寒冷的北方去生活，海瑞沒有辦法，只好讓王夫人攜同二男三女扶侍海太夫人從海瑞在江西興國縣令的任上南歸，而海瑞則帶了兩個仆人北上任職，這一年海瑞52歲。于此可知，當年海瑞任淳安縣令的時候，他身邊至少已有兩個已經十幾歲的女兒，和兩個年幼的兒子。

　　王夫人于隆慶二年(1568)七月二十四日晚上去世，據海瑞說是生病死的，但也有人說是自殺的，《萬歷十五年》說王夫人“于1569年在極為可疑的情況下死去”(1569年的說法有誤)。在王夫人去世前11天，海瑞的妾韓氏上吊自殺。這兩件事聯系起來，使海瑞的家庭生活變得撲朔迷離。韓氏為何自殺？王夫人到底因何而死？這些事已經成了歷史之謎，但海瑞在官場上卻有了非常不好的名聲。〔1〕這時候的海瑞在南京任正四品的通政司右通政(相當于副省級干部)之職，他是半年多前才到南京來的。那么，海瑞納韓氏為妾可能是在北京，也可能是到南京之后的事，無論哪種情況，韓氏跟隨海瑞的時間都不算長。

　　必須交待的一件事是嘉靖四十四年(1565)十月海瑞上了震驚朝野的尖銳批評嘉靖的“直言天下第一事疏”——《治安疏》而在次年二月下獄，兩個兒子就在這一年死了，一個11歲，一個9歲，而海瑞已經54歲了。可以想見，這個打擊對海家來說會是怎樣的致命。妻死妾亡，海瑞的心態如何呢？據一封寫給朋友的信件透露，海瑞說自己“每一思及，百念灰矣”，可見他未必是人們想象的那種無情之人，對妻妾也不是沒有感情。而釀成這樣的家庭悲劇，癥結可能還是出在已近八十高齡的海太夫人身上。

　　海瑞還有一妾姓邱，史料中只說她為晚年的海瑞生了一個兒子，但長到三歲就夭折了。

　　海瑞于隆慶四年(1570)四月申請退休，獲準后離開南京回家鄉瓊山閑居，從此離開官場15年，直到萬歷十三年(1585)正月已經73歲時才重新回到官場，到南京任都察院右都御史及吏部右侍郎之職。邱氏什么時候所納史無明文，或許是海瑞在家鄉閑居時所納，但萬歷十五年十月十四日海瑞死的時候有“二媵四仆”〔1〕。媵是側室，也就是小妾。這二妾中有一個可能是邱氏，另一個則可能是重回南京后所納(因韓氏已死)。當然，也不排除這二妾中邱氏不在內的可能。假定這二妾一個是邱氏，一個便是政敵攻擊海瑞時所說“瑞已耄，而妻方艾”的那個“方艾”的女孩，那么海瑞也已經有過三個小妾，這樣“六娶說”就不是高估，而是有確切證據的最低估計。