厥後裴矩向楊廣上奏以為始畢可汗羽毛己豐，部眾漸盛，不太聽話，便建策分其勢，請楊廣以宗女嫁給始畢之弟叱吉設，拜為南麵可汗，以事誹謗。楊廣覺得主張不錯，但在實施中卻未能如願，因為叱吉設不敢接管隋公主，而始畢可汗聞知後也對楊廣產生了痛恨。一計不成，又生一計，裴矩又向楊廣獻策說:“突厥本樸素，易行誹謗，但因為其帳內多有西域九姓胡，儘皆萊黯奸刁，”為始畢出主張，並教唆之。傳聞有個叫史蜀胡悉的人尤多奸計，遭到始畢的寵任，可用計先誘殺他。楊廣聽後即予準予。裴矩因而派人向史蜀胡悉傳言:“天子大出珍物，今在馬邑交關貿易，若前來者，即得好物。”胡商出身的史蜀胡悉聞知後以為是發財的好機遇，不顛末始畢可汗同意即儘驅家畜前來互市，成果在馬邑關下被伏兵斬殺。裴矩以大隋天子的名義詔報始畢可汗:“史蜀胡悉俄然自領部落入塞來此，雲叛變可汗，請我包容，突厥既是我臣，彼有叛變，我當共殺，今己斬之。”但始畢可汗並不是傻瓜，更不會等閒被騙，體味本相後對大隋對楊廣更加痛恨。

楊廣還在城內親巡將士，當衆宣佈:“儘力擊賊，苟能保全，凡在行陣，勿憂繁華，必不使有司弄詞訟破汝勳勞”。又命令“守城有功者，無官直除六品，賜物百段，大官以次增益”，又派使者往各營慰勞，相望於道。因而眾皆主動，日夜拒戰，死傷甚眾。大業十一年（615）雄師從帝國的四周八方滾滾而來，突厥始畢可汗一時攻不下雁門郡城，當東都大隊勤王兵馬達到忻口(今山西忻縣)，距雁門隻要天涯之遙時，遠在戈壁汗庭的可賀敦義成公主也見到楊廣的使者，派人謊報始畢“北邊有急”。玄月15日始畢可汗率突厥鐵騎得救而去。

雁門郡城即為馳名的雁門關，位於山西代縣。“天下九塞，雁門為首。”雄關依山傍險。高踞勾注山上。東西兩翼，山巒起伏。山脊長城，其勢蜿蜒，東走平型關、紫荊關、倒馬關，直抵幽燕，連接瀚海；西去軒崗口、寧武關、偏頭關、至黃河邊。雁門關與寧武關、偏頭關為內長城之“外三關”，這裡峰巒疊蟑、山崖峻峭，關牆雉堞麋集。烽堠遙相照應。東西兩麵將老營口、坷申池口、陽方口、東隆口、西烴口、北樓口、大石口、石口、馬蘭口、茹越口、胡峪口等十八隘口連為一體，陣勢非常險要，為千古兵家交戰之地。戰國期間。趙國大將李牧常駐雁門，仰仗關城之險，慎重戍守，擊敗匈奴十萬人馬；漢朝名將李廣、衛青、霍去病曾經率兵和匈奴在此廖戰，大獲全勝，威震塞外。這也是為甚麼楊廣一行在曉得始畢可汗帶了十萬的突厥馬隊來冒死往這裡擠的啟事，就是想借險關來麵對來勢洶洶的突厥雄師。

突厥退走以後，楊廣派人出城窺伺，確認不是突厥搞得戰略時，判定派出二千人的小隊馬隊追擊，抓獲了突厥二千餘人。突厥馬隊走路，楊廣安然了，18日，楊廣回洛陽的途中下詔赦免太原、雁門郡極刑以下犯人。

近臣虞世基也同意樊子蓋的觀點，“勸帝重為賞格，親身撫循，又下詔停遼東之事。”內史侍郎、皇後之弟蕭璃總結彆人的定見，並進一步獻策說:“北蕃夷俗，可賀敦(便可汗的皇後)知兵馬事。昔漢高祖解平城之圍，乃是闊氏之力，況義成以帝女為妻，必恃大國之援。若發一單使以告義成，借使無益，事亦無損。”一貫專斷獨行的楊廣在寬裕中采取了眾大臣的建議，先“發使詣可敦諭旨飛”。24日，詔天下諸郡募兵勤王。因而，四周郡守縣令各來赴難。在各路勤王步隊中，有太原李淵帶領的兵馬，就連遠在江都的王世充，也“儘發江都人，將往赴難。在軍中，反首垢麵，哀號無度，曉夜不解甲，藉草而臥。”