吳湖帆原配夫人是蘇州大姓潘氏之女潘靜叔，其祖為道光時宰相，其父是光緒時軍機大臣。潘靜淑雖是名門才女，當年卻以“荊布椎髻待湖帆”。婚后，在事業上、生活上對湖帆幫助極大。他們共同生活20多年，夫婦之間，琴琵和鳴，詩畫酬唱，極為相得，時人多將他們比作梁(鴻)孟(光)、趙(明誠)李(易安)、趙(松雪)管(仲姬)。不料，1939年，潘氏急疾不治，瘁然而逝，給吳湖帆精神上刺激很大。吳在《故妻潘夫人墓狀》中寫道：嗚呼痛哉！金鏤長埋，佳城永閉，我心碎矣，君靈知否？為表奉倩傷神之意，他從這時起更名為“倩”，自號“倩庵”。又請陳巨來為潘靜淑刻名章10多方，鈐在遺物上，以示悼念。

　　潘氏下葬于滬西虹橋公墓。吳湖帆特請葉恭綽題“梁景佳城”四字，以備自己百年后合葬用。這一段時間，吳湖帆沉浸在極度悲痛之中，他先后填詞數十首，哀婉凄約，潘氏的遺物，幾乎讓他寫遍了。

　　為了減輕吳湖帆的悲緒，他的兩個兒了吳孟歐、吳述歐特輯父母所作之畫16幀影印行世，名《梁景書屋畫集》，封面為葉恭綽題簽，前有夏敬觀序及陳遽所作之傳，后有潘靜淑侄潘博山所作之跋。書為作開套色精印，首頁刊吳湖帆、潘靜淑合影。內頁所選吳湖帆山水畫7幅，皆其力作，潘氏的花卉9輻，也是從她遺世的160多幅中精選出來的代表作。該書印成后，上海各大書店均有出售，一時很受歡迎。

　　潘靜淑雅好填詞，有《綠草詞》一卷遺世，吳湖帆感念潘氏，便以《綠遍池塘草》為題，廣征圖詠。他交游遍海內，數月之間，收到和界名流應征作品一百數十件，其中有吳純齋、夏閏奄、趙叔儒、夏釗丞、趙云壑、吳待秋、馮超然，冒鶴亭、仇述庵、陳叔通、鄭午昌、汪亞塵、劉海粟、溥心畬、張大千、葉恭綽、沈尹默、馬公愚、鄭慕康、陸抑非等名家的作品。

　　江州伊立勛先生題曰：“鶯燕群飛憶早春，清詞麗句墨猶新。如何檢點妝臺冊，頓隔人天倍愴神。”杭縣陳叔通題；“風流王謝蔚清門，梁普妝樓世澤尊。綠遍池塘春不住，珮環凄斷夜歸魂。”番禺葉公綽詞曰：“斗偈世緣空，永恨家山繞，梁景凄清似隔年，短夢隨春老。調苦曲難終，淚浥香盈抱，莫問他生與此生，綠遍池塘草。”

　　《綠遍池塘草》1940年問世，吳湖帆親自作序，又自作畫一幀，并題《金縷曲》一詞，其中有句：“指望虹橋橋邊路，又青青一例年年掃，非痛器，即狂笑。”

　　吳湖帆折鸞之痛持續了2年多，直到1942年，他和顧抱真結婚才慢慢地解脫出來。