卻說桓溫得專晉政，威權非常。他本來是目無君相，窺覦非分，嘗臥對親僚道：“為爾寂寂，恐將為文景所笑！”文景指司馬師兄弟。嗣又推枕起座道：“不能流芳百世，亦當遺臭萬年！”為此一念，貽誤很多。又嘗顛末王敦墓，慨望慨氣道：“可兒！可兒！”先是有人以王敦比擬，溫甚不平，至此反慨慕王敦，企圖背叛。會有遠方女尼，前來見溫，溫見她道骨珊珊，料非常人，乃留居彆室。尼在室中沐浴，溫從門隙窺視，見尼裸身入水，先自用刀破腹，繼斷兩足，溫大加驚奇。既而尼開門出來，無缺如常，且已知溫偷視己浴，竟問溫道：“公可窺見否？”溫料不成諱，便問主何休咎？尼答雲：“公若作天子，亦將如是！”溫不由色變，尼即彆去。方士杜炅，能知人貴賤；溫令言本身祿秩，炅淺笑道：“明公勳格宇宙，位極人臣。”溫沉默不答。若非此二人相誡，溫已早為桓玄了。他本欲建功河朔，彙集時望，然後還受九錫。自枋頭敗歸，申明一挫，及既克壽春，因語參軍郗超道：“此次克服，能雪前恥否？”超答言尚未。既而超就溫宿，半夜語溫道：“明公當天下重擔，年垂六十，尚未建立大功，如何鎮愜民望！”溫乃向超求計，超說道：“明公不為伊霍盛舉，恐終不能宣威四海，賽過兆民。”溫皺眉道：“此事將從何提及？”超附耳道：“這般這般，便不患無詞了。”此賊可愛。溫點首稱善，方纔安寢。次日，便造出一種謊言，流播官方，但說帝奕素有痿疾，不能禦女，嬖人朱靈寶等，參侍內寢，二美人田氏孟氏，私生三男，將建立太子，潛移皇基如此。看官試想！這類含混的情詞，從何證明？明顯是無過可指，就把那床第虛談，架誣帝奕，這真所謂欲加上罪，何患無詞呢。

秦王堅聞溫廢立，顧語群臣道：“溫前敗灞上，後敗枋頭，不知思愆自貶，遍謝百姓，反且廢君逞惡，六十白叟，作此行動，怎能為四海所容？古諺有雲‘怒其室，作色於父’便是桓溫的註腳呢。”

太宰武陵王晞，與簡文帝係出同胞。簡文即位，顧念本支，當然優禮相待。惟晞素好武事，又與殷浩子涓，常相來往。浩歿時，溫遣人齎書往吊，涓並不報答，為溫所恨，因並及晞。新蔡王晃，係疇前新蔡王騰後嗣，亦與溫有隙。另有廣州刺史庾蘊，太宰長史庾倩，散騎常侍庾柔，皆為前車騎將軍庾冰子，就是廢帝奕皇後庾氏的弟兄。庾後既連帶被廢，降為東海王妃，溫恐庾家屬大寵多，陰圖抨擊，因而想出一法，先扳倒武陵王晞，誣他父子為惡，曾與袁真同謀背叛，因即免官歸藩。簡文帝不得不從，出晞就第，罷晞子綜晞等官。溫又勒令新蔡王晃，誣罪自首，連及武陵王晞父子，並殷涓庾倩庾柔等，一同謀逆，且將太宰掾曹秀，舍人劉強，平空插手，一古腦兒收付廷尉。禦史中丞譙王恬，即譙王承孫。陰承溫旨，請依律誅武陵王怛。簡文帝複詔道：“悲惋惶怛，非所忍聞，應更詳議。”溫複自上一表，固請誅晞，語近威脅，簡文帝手書給溫，內有晉祚未移，願公推行前詔；若大運已去，請避賢路如此。溫覽到此詔，也不覺汗流色變，始奏廢晞及三子家眷，皆徙新安郡，免新蔡王晃為庶人，徙錮滎陽。殷涓庾倩庾柔曹秀劉強，一概族誅。簡文帝不便再駁，勉依溫議，不幸殷庾兩大族，冤冤枉枉死了多少人。炎炎者滅，隆隆者絕。庾蘊在廣州任內，聞難他殺，蘊長兄前北中郎將庾希，季弟會稽王參軍庾邈，及希子攸之，並逃往海陵陂澤中。獨東陽太守庾友，也是蘊兄，因子婦為溫從女，特邀赦免。溫自是氣勢益盛，擅殺東海王奕三子，及田氏孟氏二美人。旋複奏稱東海廢黜，不成再臨黎元，應依昌邑故事，築第吳都。簡文帝商諸褚太後，請太後命令，謂不忍廢為庶人，可妥議徙封。溫複奏可封海西縣侯，有詔徙封奕為海西縣公。廢後庾氏，積憂病歿，尚追貶為海西公夫人。會吳興太守謝安，入為侍中，遙見溫麵，便即下拜。溫驚呼道：“安石謝安表字見前。何故如此？”安答道：“君且拜前，臣莫非敢揖後嗎？”溫明知安成心諷刺，但素重安名，不便發作，且默記前時女尼微言，也有戒心，因即上書鳴謙，求歸姑孰。詔進溫為丞相，令居京師輔政。溫仍然固辭，乃許他還鎮。