率先叛逆的是劉武周，他出身大富之家。劉武周英勇迅捷長於騎射，跟刁悍任俠之徒來往密切。他的哥哥劉山伯曾警告他說：“你不加挑選地交朋結友，終究會犯滅族大罪的。”多次唾罵他，劉武周是以離家到洛陽，替太仆卿楊義臣當士卒，應召參軍征討遼東，憑軍功被任命為建節校尉。