除了老邁楊勇老二楊廣以外，另有就是老三楊俊、老四楊秀、老五楊諒。

開皇二十年六月二旬日，楊俊薨於仁壽宮。楊堅廢朝而悼傷，獨孤皇後輟膳而摧痛。楊俊統統富麗豪侈的遺物，楊堅命令全數燒掉，並號令送終的器具都必然要儉省，才氣讓後代師法。王府的幕僚要求立碑記念，楊堅說：“如果想要留名，記在一卷史乘上也就夠了，哪還需求用到石碑？如果子孫不能儲存家業，今後石碑也不過是給人拿來做鎮石罷了。”

西南邊疆呈現戰事，大將軍劉噲之受命征討。同時楊堅令上開府楊武通領兵跟進，作為後續軍隊。楊秀派嬖人萬智光為武通行軍司馬，楊堅以為楊秀任非其人，怒斥之。對此楊堅謂群臣曰：“壞我法者，必在子孫乎？比方猛獸，物不能害，反為毛間蟲所損食耳”。因而遂漸分化楊秀的權力。

太子楊勇被廢，楊諒因扼守在當時天下精兵之地，心中便有了異心，上諫楊堅說：“突厥方強，當即讓太原為重鎮，宜修武備。”楊堅聽後感覺是那麼回事就承諾了。楊諒因而召了很多人手，製造兵器，儲存於幷州。招雇逃亡之徒，擺佈親戚故舊，將近數萬人。同時任命南朝梁將軍王僧辯的兒子王?為谘議參軍，和重用之前是南朝陳的將軍蕭摩訶。楊諒得這一些個籌辦都是因為太子被廢後，看到和本身一樣非嫡宗子的二哥楊廣都有機遇介入皇位後的一種野心使然。

開初，楊俊很有作為，是以讓楊堅相稱歡暢，乃至下過旨嘉獎他。但以後他開端垂垂豪侈起來，另有違背軌製的行動，放起高利貸，讓他的轄區群眾官吏大感痛苦。因而楊堅派使者去調查，成果因為楊俊的事開罪的官吏達百餘人。即便如此，楊俊還是不改他的行動，持續修建豪華的宮殿，窮極豪侈與富麗。每當他有特彆的巧思時，就親身拿起東西製作器具，並拿富麗的珠寶玉石去裝潢。還為他的妃子製作七寶幕籬與水殿，香塗粉壁、玉砌金階，梁柱之間又以明鏡環抱、裝潢寶珠，極儘華麗之所能事。隻要有來賓與妓女來的時候，楊俊便與他們在這裡一同絃歌。

開皇十八年（598）高句麗嬰陽王高元率馬隊萬餘進擾遼西，被營州總管韋打擊退，楊堅遂命楊諒、上柱國王世積為行軍元帥，周羅喉為水軍總管，率雄師30萬，打擊高句麗。楊諒領軍強渡遼水又時逢雨季，軍中疫病風行，倒黴而還。開皇十九年（599）突厥犯邊疆，楊堅以楊諒為行軍元帥，但是在大戰開端以後楊諒竟然冇有親臨火線導致當時的染乾可汗冇有獲得援助而兵敗。

楊俊愛好美女具有還多有姬妾，但是他的王妃崔氏善妒，為此忿忿不平，便在瓜中下毒，楊俊是以身材不適，回到京師長安。楊堅因為他餬口太豪侈嬌縱，便將他的官位都免除，讓他純粹做一個親王，要他安份地待在他的王府裡。左武衛將軍劉升進諫說：“秦王非有他過，但費官物營?舍罷了，臣謂可容。”楊堅答曰：“法不成違”。劉升本還想勸說，看到楊堅真的活力後才見機的沉默了，以後楊素也感覺楊俊遭到的獎懲有點太重就進言到：“秦王之過，不該至此，願陛下詳之”。對於這位朝廷重臣楊堅不像對劉升一樣直接地回絕而是解釋道：“我是五兒之父，若如公意，何不彆製天子兒律？以周公之為人，尚誅管、蔡，我誠不及周公遠矣，安能虧法乎？”最後還是冇有規複楊俊的官職。