杨氏当灭李氏当兴的传闻传出后不久，李渊就得到隋炀帝杨广让他返回长安的命令，李渊好险没吓死。皇帝杨广那可是绝顶聪明的人物，他肯定猜出来了，有关杨氏当灭，李氏当兴的政治谣言，就是我李渊瞎编出来的。徜若去了京师，只怕我的脑袋……
心里害怕，李渊咕咚一声，倒在了床榻上，哭着对使者说道：兄弟，你看我，都病成这样子了，能不能活到明天，我自己心里都没数啊。不是我抗旨不遵，我是担?自己一旦奉旨动身，还没出家门，就死跷跷了。兄弟你能不能帮我一个小忙，回去跟皇上说一说，就说我病得真的厉害……
使者无奈，只好回去告诉杨广，李渊病情严重，无法奉旨来长安。杨广听了，半信不信，就去找在宫里出任女官的李渊外甥女，问她：你舅舅为何不肯来长安?李渊外甥女回答：兴许是病情比较严重吧?
杨广冷笑：恐怕是心病吧?
外甥女急忙写了密信，告诉李渊这个消息。收到信后，李渊是真的病重了。这时候他最想做的，就是和妻子窦氏商量商量，?是此时窦氏病危，李渊只好把事情憋在心里，不敢说出来。
不久，窦氏病疫。李渊悲痛不已，自思娶了这么好的一个老婆，却因为自己不听她的话，以至于落到了如此危险的境地。从此他采用韬晦之计，故意放纵声色，还收取下属的贿赂，表示自己绝无雄心壮志，如此到了大业十三年，杨广传旨，任命李渊为太原留守。
接到圣旨的当天，李渊将四个儿子李建成，李世民，李元霸及李元吉叫过来，流着泪对他们说：你爹好笨啊，当初不肯听你妈妈的话，否则的话，我早就得到今天这个机会了……
区区一个太原留守，对李渊来说，预示着什么机会呢?
原来，当地的居民，都是古帝陶唐氏的旧民。所以太原之地，又称之为唐，而李渊世代爵封唐国公，正是将太原做为李氏的封地。所以李渊回来这里，就如同饱受欺凌的游子回到家乡。所以李渊认为此地必将成为他的龙蜇之地，只待休养生息，一飞冲天。
但杨广把李渊回到封地，却不是让这厮休养生息来了。杨广交给了李渊一个重要的任务，命令他兵出太原，与马邑太守王仁恭合兵，北上镇守边疆，对付来犯的突厥强敌。
北部的胡人，始终是中国的大患，所以杨广为了帮助李渊完成使命，还专门调拨了河东的一部分兵马，隶属李渊的麾下。就这样，河东兵，李渊自己的兵，再加上马邑太守王仁恭的兵，三个方面军加起来，是一个怕人的数字。
到底是多少人?
差一点不到5000人。
5000人对付胡人……怎么会三个方面军凑在一起，人数还这么少呢?
这是因为，杨广要留一手，李渊要留一手，马邑太守王仁恭也不傻，当然也要留一手，三方面一人留一手，居然还能够凑出来5000人，这已经够意思了。
发现自己这边将寡兵稀，王仁恭有点上火，就说：昔者汉将军霍去病封狼居胥，所率精兵两万，战马十五万匹，才逐得匈奴北走。如今咱们才不过是5000人，还不够人家匈奴喝一壶的……不知道李大人有何计较啊?
李渊硬着头皮说：情况是这个样子的，现在皇上远在江南，还写诗曰：我梦江都好，征辽亦偶然，但存颜色在，离别只今年。皇上果然是天纵英武，这诗写得贼啦啦好……我的意思是说，咱们这里才5000人，又驻扎在这么一座荒城，内无粮草，外无援兵，随便一伙胡人流浪汉，都比咱们人多……不知道王大人有何计较啊?
王仁恭惨笑道：我正是没有主意，才询问你，你却反过来问我。
李渊道：哦，原来你没有主意……你没主意，我也没有主意……要不咱们这么办，咱们干脆投降胡人得了。