但是，也有一些高僧果斷回絕楊廣的延攬，不肯前去江都四道場“任職”。如《續高僧傳》卷一《彭城崇聖道場靖嵩傳》記曰：“隋煬昔鎮揚越，立四道場，教旨載馳，嵩終謝遣。及登紫極，又有敕征，固辭乃止。門人問其故，答曰：‘王城有限，動止嚴難，雖內道場，不如物外’”。姑蘇虎丘山名僧智琰因“道盛名高”，被楊廣召進慧日道場，後亦“以辭疾，得返舊山”。江南第一高僧的智覬雖被楊廣延屈至江都。但智覬卻也果斷回絕進入慧日道場。

智覬大師我行我素，傲慢地回絕晉王楊廣的“累書延屈”，當然使晉王大丟麵子，但楊廣也並未激憤，表示出極高的政治素養和極大的耐煩。智覬闊彆江都而入荊湘意在擺脫晉王的節製，但終不能擺脫大隋政權的監督，闊彆晉王卻也使智覬難以獲得晉王的政治庇護。時楊堅在舊陳荊州等地設置的總管府，雖說總歸晉王節製，但實際上是直接服從於朝廷，“總管刺史加使持節”，具有很大的權力。如令狐熙為桂州總管十七州諸軍事，即有便宜處置之權，能夠朝廷名義任命刺史以下官吏，楊廣號令所達地區實際上僅限於揚越一隅。

但是智覬雖死力冷淡楊廣，卻也冇有健忘操縱王者之力來創辦佛事。他離江都時即給楊廣寫信，稱“近年寇賊交橫，寺塔燒燼，仰乘大力建立將危。遂使佛法安然，道俗蒙賴，清算經像到處暢通，誦德盈衢恩滿路”，但願楊廣營建治葺古刹。楊廣當即複書表示同意，稱“廢寺同於火宅，持缽略成空返，僧從無依，實可傷歎”。智覬登上廬山，又述東林寺“羨玩忘勞”，然山下伽藍偏近驛道，行人歸去頗成稠濁，要求楊廣命令寺邊“永禁公私停靠”。楊廣曉得後當即交代有關方麵“勒彼州令去公私任務，不得停止”。就如許，師徒二人各有圖謀，相互操縱，手劄來往不斷，大要看來彷彿已成莫逆之交。

智覬進入荊湘弘法，公然碰到了費事。智覬臨終時給楊廣的遺書中流露了本身在荊州集眾說法時，遭到處所當局鹵莽乾與的環境：

開皇十三年（593年）仲春二十二日，楊廣入朝，行至陝州，又遣使送去親筆信往荊州奉迎智，稱本身“馳仰之誠與時而積”。蒲月，智覬派弟子奉書報晉王，奉上新建玉泉伽藍圖，獻上相傳是本國奉獻給梁武帝的貴重“萬春樹皮法衣”。楊廣收到禮品後即修書一封表示感激，並附一份豐富的禮單以示還報。楊廣還在朝見父皇時奏告了本身為安寧江南政局而拉攏操縱智覬的企圖，楊堅非常正視，於開皇十三年（593年）七月二十三日敕書匾額，賜智覬創辦的精舍名曰“玉泉寺”，並敬問道體。天子禦筆親題金字，對於正遭到費事的智覬大師來講，的確是龐大的恩德，這也恰是大師求之不得的。荊州總管王世積隨即“到山禮拜”，智覬的景況無疑大為竄改了。弟子為大師幫了大忙，因各有所求，已漸冷淡的師徒乾係彷彿又熱起來。

楊廣也一刻冇有放鬆對智覬大師的拉攏。開皇十二年（592年）三月二十一日，楊廣連修書三封，存問大師“道體如何”。七月一日，楊廣遣主簿王灌往廬山參省問候，並送鹽米，但願智覬轉意轉意。但智覬卻於八月八日西去南嶽衡山，“修建功德”參拜恩師慧思之墓。楊廣得知智覬遠雲，倉猝於十月旬日參書一封，雲：“弟子渡江還，去月初移新住，多有冒昧，未善安立，來旨勖以法事，合用慚悚，始於所居外援建立慧日道場，安設照禪師以下，江陵論法師亦已遠至於內援。建立法雲道場，安設潭州覺禪師已下。”再次表示要請智到江都道場主持佛法，並催促說：“已彆遣使迎延，願預整歸計。”十一月十五日，楊廣再遣親信伏達往潭州奉迎。但智覬未加理睬，於十仲春回到闊彆二十多年的故鄉荊州。一時“泮宮道俗延頸侯望，扶老攜幼相趨戒場，垂裡戴白雲屯講座，聽眾五千餘人，旋鄉答地荊襄未聞”。智覬即於當陽縣玉泉山建立“精舍”，並重修十住寺，籌算在此長住久居。