隨後，顛末籌辦多時的李淵傳檄各州、縣，宣佈正式起兵。李淵統領內的西河郡隋將得知李淵起兵的動靜，依城把守。李淵隻好派兒子李建成、李世民率兵攻打西河，並派太原令溫大有參謀軍事。西河郡兵微將寡，郡丞高德儒閉門守城。但是李建成僅僅用了9天時候便攻陷西河君，殺死了不肯兵變的高德儒。至此，李淵作為太原留守統領的五個郡的地盤除了三個郡被劉武周占據外，剩下的太原與西河兩軍皆歸李淵統統。

七月，誓師過後的李淵命李元吉留守太原，本身親率3萬雄師西突厥兵幫部下，向關中進發。李淵起兵的動靜傳到長安後。長安留守的代王楊侑派宋鬚生率兵三萬屯在霍邑(山西霍縣)，屈突通率雄師扼守河東(山西永濟)，以防備其西進。

這時，正在攻打洛陽的李密兵鋒正盛，有囊括天下的氣勢，以是李淵就寫信給李密但願締盟共同對於隋軍。李密見信後，答覆李淵說締盟能夠但是要他親身到河內(今河南沁陽)和他籌議締盟的事。李淵見信後說：“密妄自矜大，非折簡可致。吾方有事關中，若遽絕之，乃是重生一敵；不如卑辭推獎，以驕其誌，使為我塞成皋(虎牢關)之道，綴東都(洛陽)之兵，我得專意西征。俟關中安定，據險養威，徐觀鷸蚌之勢。以收漁人之功，未為晚也。”因而李淵給李密的信中很卑恭地說：“天生烝民，必有司牧，當今為牧。非子而誰，老夫年逾知命，願不及此”。李密在接到李淵信後，見李淵如此推許本身，就放鬆了對李淵的警戒並和他簡樸締盟。李淵的粗心不但忽視了對李淵圖天下野心的防備，並且還實際為李淵造反牽掣了隋軍主力。使隋軍不能西救關中長安。

李淵雄師度過黃河後，聲望所至，隋朝官吏紛繁投降。華陰令李孝常獻永豐倉投降，使李建成等得以順利地占據永豐倉。李世民所到之處，收編隋軍和各小部分叛逆兵，短期內“勝兵九萬”設營在涇陽，並派劉弘基攻取了扶風，度過渭水，屯軍在長安故城。原在關中地區的李淵親族，如其女李氏，婿段綸，族弟李神通等，也呼應李淵起兵，並與長安四周各小部分叛逆兵彙合，占據了蘭田、盞屋、武功、始劃一地，人數到了十餘萬人，皆同一歸李世民批示。

李淵率雄師循汾水進軍，到了賈胡堡，距霍邑五十餘裡。這時，連日陰雨，軍隊受阻不能進步，並且軍隊缺糧。特彆是有傳言說劉武周結合突厥將進犯太原。這時。裴寂等以為：宋鬚生、屈突通連兵據險，不易處理；李密大要上承諾結合了，但靠不住。突厥貪而無信，唯利是圖，結合劉武周進犯是能夠的，將士家眷都在太原，太原職位很首要，“不如還救底子，更圖後舉”。李淵同意後命令退兵回太原。