但是，襄子也復甦地曉得，以趙氏之力與三家對抗，眾寡差異，獨木難支，遂按父親臨終之囑，退守晉陽(今山西太原市南晉源鎮)，以天時之險，克敵疲之短，相機再戰。

簡子身後，晉國正卿由智伯瑤取而代之。智伯為晉國正卿後，極力生長自家權勢，很快成為智、趙氏、韓氏、魏氏等卿大夫中，權力最大，氣力最強的家屬。晉出公九年(公元前466年)，智伯與趙襄子一同率兵包抄鄭國京師，智伯讓襄子率先領軍攻城，襄子則用交際詞令推委，讓智伯出兵，能言善辯的智伯此時卻憤而罵曰:"你邊幅醜惡，脆弱膽怯，趙簡子為甚麼立你為擔當人?"襄子答道:"我想一個能夠忍辱負重的擔當人，對趙氏宗族並冇有甚麼壞處罷!"

氣度寬廣