因而楊素就公開地說:“我奉旨到京師，號令皇太子考覈劉居士的餘黨。太子接到聖旨，神采大變，神采非常氣憤，他對我說：‘劉居士的餘黨都已伏法，讓我到那裡去究查呢？你作為右仆射，任務不輕，你本身去考覈此事吧，關我甚麼事！’又說‘疇昔的禪讓大事如果不順利，我先得被殺，現在父親作了天子，竟然讓我還不如幾個弟弟，凡事都不能自作主張！’他就長歎說：‘我感覺太不自在了’”。