卡車隆隆開走，他終究倒下。第二年吳湖帆再度中風，住進了上海華東病院，“造反派”仍不放過他，圍著病床前高呼標語批鬥。

吳湖帆續絃夫人使女的動靜一傳出，上海灘上各種小報紛繁追蹤報導，有的用心製造一些不實緋聞，訛傳潘靜淑早已發覺夫君與阿寶有輕易之事，因此服生鴉片他殺如此。潘氏從起病到亡故僅三天，不免惹人生疑。婚後吳湖帆與阿寶伉儷恩愛，吳湖帆嫌“寶珍”之名太俗，為之改名“抱真”。

1957年次子吳述歐因替他寫過查抄而劃爲“****”分子，厥後宗子吳孟歐因自甘出錯而伏法，吳湖帆掉進了孤單、懊喪、痛苦之深淵。