面对现实，太原留守李渊难免时时长吁短叹，儿子李世民却并不如此。原来他早已将时局看清，深知目前形势不会持续太久。于是结识了好些有志之士，以图将来成就大业。
在他交往的朋友中，有一个是晋阳县（治今山西太原西南古城营）令刘文静，还有一个是宫监裴寂，都是很有谋略的人。
一天，李世民与刘文静谈论天下冤狱，刘文静说： 现在是天下大乱，除非有汉高祖那样的英明人物出来拨乱反正，才可能没有冤死的好人。
世民不以为然： 你未免过分悲观了，只有庸人才会对现实绝望。
刘文静一听大喜，说： 我的确没有看错人啊。公子，现在不时地有农民起义，如果有众望所归者敢于挺身而出，正好将他们收归旗下为我所用，就是太原百姓， 恐怕也有十来万人。你父亲手里又有好几万兵将，就算只凭这些力量乘虚入关，号令四方，那也要不了半年时间，就可成帝业了。
李世民想了想，说： 你说得很在理，只怕我父亲不答应，如何是好？
文静说： 这也不难。 于是在李世民耳边说了几句话。
李世民离开后，直接取了好酒，摆了盛宴，请裴寂一块儿喝酒。李世民知道裴寂好赌，便在游戏时故意输钱给他，搞得裴寂格外心情舒畅。
然后，李世民才将自己与文静的主意告诉他，请他出面劝说李渊。裴寂说： 你父亲与我是老朋友了，如果明言相劝，很可能被他拒绝。 于是两人商量了一番，便由裴寂去劝说李渊。
谁知如此这般之后，李渊仍然十分犹豫，无论裴寂如何分析 隋室江山，唾手可得 ，并力劝他 识时务者为俊杰 ，他还是坚持自己 世代领受国恩，不敢变 志。 正在这时，有士兵来报，说是突厥大军压境，已经到了马邑（治今山西朔州）。李渊立即与副留守王威和高君雅商议对策，决定派高君雅领兵万人前往马邑支 援。
高君雅走后，裴寂的话又在李渊耳边萦绕，思来想去，好几天寝食难安，却仍然拿不定主意。当得知高君雅出师不利后，李渊更加茫然无措，只是一个人呆呆独坐。
正在这时，李世民策马飞奔而来，他劝父亲道： 现在下有外寇和群盗作乱，上有严刑伺候，随时可能面临灾祸。不如顺应民意，带兵起义，说不定还能转祸为福呢！ 但李渊仍然不为所动，还扬言要将儿子举报出去，免得连累一家人。
第二天，边境军情更加危急。李世民再次进到李渊的房间劝父。这回李渊口气有所缓和，说是经过一夜的考虑，觉得儿子说的也很有道理，只是家眷都在河东（治今山西永济蒲州镇），怕一旦起兵之后，家人有个什么闪失。世民于是立即派人飞奔河东，去接河东的家属。
正在这时，江都有消息传来，当即吓得李渊魂不附体。原来，是隋炀帝因李渊未能将突厥及时击退，已经派人到了太原，要将他捉去问罪。
李渊心急如焚，不知如何是好，只得将裴寂和儿子李世民召来一同商量。裴寂说： 我前日劝您，就是为了防这一招。现在情势紧急，还犹豫什么呢？古人说 先发制人，后发被人所制 。何去何从，望您三思啊！ 李世民接着说： 现在皇上昏庸，尽忠无益啊！
很快，隋炀帝派来逮李渊的两名使者也已来到，李渊推说自己病重不能起床，只派下属将两人先安排住下。这两人呢，虽然身负皇上命令，但因李渊手握兵权，也只好耐着性子等待。
不几日，江都隋炀帝又传来赦免的命令，让李渊还担任原职，戴罪立功。情势一有缓解，李渊又放宽了心，起兵之事就搁置了好几日。
裴寂及世民看李渊迟迟不能决断，心中焦急，不断催促。世民又将刘文静保举出来，希望一同谋事。文静上来就献上一计，即假借皇帝名义发诏，命令太原、西河 （治今山西临汾东北十三里）、雁门和马邑的百姓，凡是二十岁以上的都要当兵，以东征高句丽（即高句丽国，都今朝鲜平壤）。这道命令一发下去，立即民怨沸 腾。
这期间，世民又多次劝父举兵，李渊先说： 家属还未到。 世民说： 家属已经起程，想必很快就到了。现在事情已很紧急，得早点布置才好。 李渊又皱眉道： 兵力不足，恐怕一时也成不了事。 世民上前一步，附在李渊耳边说了几句。李渊随口说： 好。
费尽周折至此，李渊终于决定起兵反隋。同在太原的两个副留守，即王威和高君雅，察觉李渊父子有异，准备要除掉李渊，却被李渊父子及刘文静等用计，以 引突厥入寇 的罪名将二人斩首。
很快，李渊的家眷也都从河东来到。这时窦夫人已经病逝，三儿子玄霸也在家乡不幸因病夭折，所来的人中有李渊的大儿子建成、四儿子元吉及女婿柴绍等，其中还有李渊之妾万氏。万氏所生儿子智云在途中失散，后在长安被留守的阴世师所害，李渊得知后伤心不已。
为了稳住突厥，李渊派出刘文静与兵临城下的突厥谈和，邀其共定京师，一起反隋，并约定胜利之后，土地归李渊，玉帛归突厥。始毕可汗大喜，当即赠马千匹。 搞定突厥之后，李渊在大业十三年（617年）六月自号义兵，亲自率领全副武装的士兵3万从太原出发，大儿子建成和二儿子世民都随行，只留下小儿子李元吉留 守晋阳宫。其起兵名义，则说是要拥立在长安的代王侑。一路上，将军与士兵同甘共苦，所过之处秋毫无犯；沿途树上有成熟的苹果，也是给了钱后才摘下来吃。这 支纪律严明的队伍，颇得百姓拥戴。
