李渊作为一个关陇军事贵族的后裔，在隋王朝的政治地位与他拥有无上尊荣的先世相比，是明显下降了。种种迹象表明，隋炀帝对李渊怀有猜忌之心，而李渊一家对隋皇室也抱有怨恨。李渊妻子窦氏原是北周皇族，在杨坚篡周建隋时，她就曾痛哭流涕地说：“恨我不为男，以救舅氏之难。”炀帝大业年间，李渊有骏马数匹，窦氏对李渊说：今皇上好鹰爱马，公有所知，此马不可久留，宜即上贡，否则必招身祸。李渊不听，果然受到炀帝的谴责。后窦氏病死，李渊为求自安之计，多次搜求鹰犬进贡，不久果然提升为将军。李渊对儿子们说，我要是早听你们母亲的话，居此官久矣。当然在政治局势相对稳定的情况下，这种勾心斗角的内在矛盾并没有也不可能激化。再加上李渊与隋炀帝是亲戚，除了君臣关系外，又多了一层血缘关系。李渊一家基本上是忠于隋朝政权的，炀帝对李渊也是基本上信任的。在正常的情况下，李渊父子可以通过建立军功这条道路，来达到提高自己地位的愿望，而这条道路对他们来说也是现实的。在全国反隋斗争爆发之初，隋炀帝一再委李渊以重任；而李渊父子基本上采取忠于隋杨政权的立场和态度，李渊出任太原留守后，策划了对历山飞农民起义的镇压，然而就全国范围来看，各地的农民起义如火如荼；也有地方贵族、豪强势力趁机起兵占据州县，割据一方。据《新唐书·高祖本纪》记载：
刘武周起马邑，林士弘起豫章，刘元进起晋安，皆称皇帝；朱粲起南阳，号楚帝；李子通起海陵，号楚王；邵江海据岐州，号新平王；薛举起金城，号西秦霸王；郭子和起榆林，号永乐王；窦建德起河间，号长乐王；王须拔起恒、定，号漫天王；汪华起新安，杜伏威起淮南，皆号吴王；李密起巩。号魏公；王德仁起邺，号太公；左才相起齐郡，号博山公；罗艺据幽州，左难当据泾，冯盎据高、罗，皆号总管；梁师都据朔方，号大丞相；孟海公据曹州，号录事；周文举据淮阳，号柳叶军；高开道据北平，张长据五原，周洮据上洛，杨士林据山南，徐圆朗据兖州，杨仲达据豫州，张善相据伊、汝，王要汉据汴州，时德缸据尉氏，李义满据平陵，綦公顺据青、莱，淳于难据文登，徐师顺据任城，蒋弘度据东海，王薄据齐郡，蒋善和据郓州，田留安据章丘，张青特据济北，臧君相据海州，殷恭邃据舒州，周法明据永安，苗海潮据永嘉，梅知岩据宣城，邓文通据广州，俚酋杨世略据循、潮，冉安昌据巴东，宁长真据郁林，其别号诸盗往往屯聚山泽。
其实李渊的反隋之心早已有之。《旧唐书·宇文士及传》载，唐朝建立后，宇文士及前来投唐，并与李渊谈及往事说：“往在涿郡，尝夜中密论时事。”当时，李渊笑对裴寂说：“此人与我言天下事，至今已六七年矣，公辈皆在其后。”宇文士及降唐是在武德二年二月。照这样计算，李渊与士及密论时事大概在大业九年上半年。据《资治通鉴》记载，大业九年正月，“诏征天下兵集涿郡，始募民为骁果，修辽东古城以贮军粮”。这时，李渊任卫尉少卿，督运于怀远镇，途经涿郡，才与宇文士及有这次密谈。据史籍记载，李渊与裴寂等人在太原所“言天下事”，都是起兵反隋之事；李渊在涿郡与士及所论时事，自然也是指反隋之事。李渊既然敢同宇文士及论及这种大事，可见二人关系非同一般。事实也是如此，当李渊为殿内少监时，士及为奉御，并与李渊“相互引重”。李渊与士及这次“密论时事”，也许与礼部尚书杨玄感起兵反隋有关。杨玄感于大业九年六月起兵于黎阳，许多贵族官僚子弟都依附于杨玄感而参加起兵，可见当时在上层社会分子中，反隋的思想是较为普遍的。也许李渊、士及正是在这种情况下论及天下大事的。但杨玄感的起兵很快被镇压下去，李渊只好把反隋的心事压下来。比如说，当李渊受命为弘化郡留守，握有关右十三郡重兵，他的妻兄也曾劝他，于玄感起兵时“可乘其便”反隋。但李渊认为时机尚不成熟，便以“无为祸始，何言之妄也”，加以推托。由此可见，李渊的反隋思想显露于大业九年，随着形势的变化和李渊同炀帝潜在矛盾的加深，到了大业十一二年时，他的反隋思想进一步明朗化，并最终成为晋阳起兵的思想动因。
为了扩大自己的势力，李渊十分注意网罗人才。他指示建成“于河东潜结英俊”，世民“于晋阳密招豪友”。建成、世民则倾尽财力，礼贤下士，只要有一技可用之人，无论出身皆养于门中，所以众人归心。当时，地主阶级中一些有政治眼光的人，已经认识了隋朝的灭亡已是必然之势，因此纷纷寻找着自己的政治依托和靠山。而李渊父子则是最佳人选并且是他们的希望所在。
在李世民“密招豪友”的过程中，刘文静、裴寂为酝酿起兵起到了重要的作用。
刘文静字肇仁，据《旧唐书·刘文静传》记载，此人“伟姿仪，有器干，倜傥多权略。隋末，为晋阳令，遇裴寂为晋阳宫监，因而结友。”李渊来太原出任留守，文静通过一段观察后，认为李渊“有四方之志，深自结托。”文静又通过私下对李世民的观察，认为世民必定能成就大事，因而对裴寂说李世民不是非常之人，乃天纵英才。后来，刘文静因与瓦岗农民起义军的首领李密结为姻亲，被隋炀帝下令投入太原大狱中。李世民深知刘文静是一位可以共同图谋大事的人才，便私下到狱中探望他。刘文静见李世民到狱中看望自己，心中明白他为何而来，便十分高兴地说道：“天下之乱，非有汤、武、高、光之才，不能定也。”
李世民回答说：“卿安知其无，但恐常人不能别耳。今入禁所相看，非儿女之情相忧而已。时事如此，故来与君图举大计，请善筹其事。”
刘文静见李世民毫无保留地向自己说明来意，图谋共举大事，便胸有成竹地谈出了自己对形势的分析，提出了起兵反隋的方略。他说：“今李密长围洛邑，主上流播淮南，大贼连州郡、小盗阻山泽者万数矣，但须真主驱驾取之。诚能应天顺人，举旗大呼，则四海不足定也。今太原百姓避盗贼者，皆入此城。文静为令数年，知其豪杰，一朝啸聚，可得十万人，尊公所领之兵复且数万，君言出口，谁敢不从？乘虚入关，号令天下，不盈半岁，帝业可成。”
李世民听罢刘文静的一番见解，笑着说：“君言正合人意。”然而，李世民对于父亲的深谋远虑和行动布署，尚不十分清楚，更不必说刘文静了。世民与文静为促成李渊不失时机地及早起兵，决定利用裴寂同李渊的亲密关系进行说项。
裴寂字玄真，据《旧唐书·裴寂传》记载，此人“年十四，补州主簿。及长，疏眉目，伟姿容。”在长安任侍御史、驾部承务郎期间，与李渊已有结识交往。李渊来太原任职，裴寂此时正担任晋阳宫副监。李渊因“与寂有旧，时加亲礼，每延之宴语，间以博弈，至于通宵连日，情忘厌倦。”
此时李世民急于及早起兵反隋，但又不敢贸然向父亲进言，见到裴寂很受父亲的器重，便决定与裴寂结成密切的关系，通过裴寂劝说父亲及早起兵。为此，李世民投裴寂所好，自己出钱数百万，命令龙山令高斌廉与裴寂赌博，故意输钱给裴寂。裴寂赢钱既多，十分高兴，每日同世民游乐。世民既已与裴寂结成亲密关系，便把自己想要敦促父亲及早起兵的实情告诉裴寂，裴寂答应从中相助。一日，裴寂命令晋阳离宫中的两名美女在家中酒宴时侍奉李渊饮酒，饮至半酣之时，裴寂乘机向李渊说：“二郎密缵兵马，欲举义旗，正因寂以宫人奉（侍）公，恐事发及诛急为此耳。今天下大乱，城门之外，皆是盗贼。若守小节，旦夕死亡；若举义兵，必得天位。众情已协，公意如何？”李渊见形势既已如此，便对裴寂说道：“我儿诚有此计，既已定矣，可从之。”
李渊起兵的想法由来已久，但是为谨慎从事，他只是偶尔向李世民透露这一意图，从未谈及行动布署，更没有向外人透露。这次李渊当着裴寂的面明确就起兵一事表态，表明起兵反隋一事已由策划到付诸实施的阶段，起兵的步伐从此被加速进行。
李世民与刘文静、裴寂一道敦促李渊及早起兵，《旧唐书·刘文静传》亦记载道：当隋炀帝要将李渊押至江都问罪时，李世民派刘文静与裴寂共同向李渊进言说：“《易》称‘知几其神乎’，今大乱已作，公处嫌疑之地，当不赏之功，何以图全？其裨将败衅，以罪见归。事诚迫矣，当须为计。晋阳之地，士马精强；宫监之中，府库盈积。以兹举事，可立大功。关中天府，代王冲幼。权豪并起，未有适从。愿公兴兵西入，以图大事，何乃受单使之囚乎？”李渊深以为然。
据《资治通鉴》记载，在隋炀帝要将李渊押至江都问罪时，世民“乘间屏人说渊曰”：“今主上无道，百姓困穷，晋阳城外皆为战场；大人若守小节，下有寇盗，上有严刑，危亡无日。不若顺民心，兴义兵，转祸为福，此天授之时也。”
李渊闻听后表示大为惊讶，说道：“汝安得为此言，吾今执汝以告县官！”
说着，李渊便取过纸笔，想要写诉状向县官告发儿子。李世民心中有数，并不相信父亲真会向官府告发自己，不过是责怪自己如此大事怎可随意轻言而已。于是，世民用缓和的语气向父亲诚恳地说道：“世民观天时人事如此，故敢发言；必欲执告，不敢辞死！”
李渊见儿子信以为真，便马上改口说：“吾岂忍告汝，汝慎勿出口！”
第二天，李世民又对父亲劝说道：“今盗贼日繁，遍于天下，大人受诏讨罪，贼可尽乎？要之，终不免罪。且世人皆传李氏当应图谶，故李金才无罪，一朝族灭。大人设能灭贼，功高不赏，身益危矣。惟昨日之言，可以救祸，此万全之策也，愿大人勿疑。”
李渊听后感叹说：“吾一夕思汝言，亦大有理。今日破家亡躯亦由汝，化家为国亦由汝矣。”
李渊虽然身为太原留守，手中握有重兵，但要密谋起兵，手中还必须要有一支私自指挥的军队，才能在发动兵变后牢固地控制住太原及其西北地区。于是，扩充兵力就成为当务之急。然而，公开招募军队目标太大，况且他现在还受炀帝的亲信、太原副留守高君雅、王威的监视和牵制，一旦事发便会带来杀身之祸。为此，李渊要世民去找刘文静商量对策。经过策划，刘文静便假造诏令：征集太原、西河、雁门、马邑年级二十以上、五十以下的男兵为兵，岁末集于涿群，要开拔去伐辽东。结果消息传出后，“人情大扰，思乱者益众”。他们这样做就是为了鼓动人心，激起人们的反隋情绪，并达到结集队伍的目的，这事发生在大业十三年之初。同年二月，马邑、刘武周起兵，杀太守王仁恭，据郡反隋，自封天子，国号“定扬”，并引突厥率兵南攻楼烦，进占汾阳宫，还将进逼太原。这时，李世民对李渊说：“大人为留守，而盗贼窃据离宫，不早建大计，祸今至矣！”于是，李渊便以讨伐刘武周为籍口，召集将佐商议。并说：“朝廷用兵，动止皆禀节度。今贼在数百里内，江都在三千里外，加以道路险要，复有他贼据之，以婴城膠柱之兵，当巨猾豕突之势，必不全矣。进退维谷，何为而可？”面对如此情况，王威等人则说：“公地兼亲贤，同国休戚，若俟奏报，岂及事机；要在平贼，专之可也。”在这种情况下，李渊提出了“先当集兵”的要求。于是李渊就命李世民与刘文静、长孙顺德、刘弘基等各自募兵，远近的人听说了，十几日之间又来了近万人。接着李渊又调整了军队的部署，使“兵马铠杖，战守事机，召募劝赏，军民征发”等大权，均由李渊和李世民亲自掌握。这支队伍便成为由李渊、李世民父子私自控制和直接指挥的军队，并成为晋阳起兵的主力军。招完兵之后，李渊派遣使者到河东和长安，令建成、元吉以及女婿柴绍等紧急前往太原。晋阳起兵如箭在弦上，不可不发了。
就在李渊、李世民父子加快起兵的步伐时，副留守王威、高君雅看到他们大举召兵，怀疑他们要起兵造反，于是二个人暗暗监视李渊。尤其是李渊重用长孙顺德、刘弘基、窦琮等人，更引起了王、高等人的怀疑。他们私下对武士彟说：“顺德、弘基皆背征三侍，所犯当死，安得将兵！”王、高的怀疑是有道理的。的确，顺德、弘基是逃避兵役而亡命太原的。窦琮也是因犯法而避居太原，按理应予治罪。李渊父子不仅不将其绳之以法，反而委以重任，授以兵权，其用心是不言而喻的。但当时武士彟早已投靠了李渊，曾私下劝过李渊起兵，并向李渊进献兵书和吉符。所以武士彟便袒护李渊说：“唐公这样是为了安定，不然肯定有大麻烦。”于是王威等便疑而不发。留守司兵田德平亲见李渊父子大量募兵，也起疑心，欲劝王、高追查募兵之事。这事为武士彟所知悉，他找田德平说：“讨捕之后，总隶唐公，王威、高君雅并寄坐耳，彼何能为！”于是田德平也不再追问这件事了。
李渊父子大量募兵的事实，毕竟难以掩盖其真正的意图。高君雅、王威被剥夺了参预军机要务的大权，越发感到形势不妙，便拉拢晋阳乡长刘文龙等人，谋划利用在晋祠求雨的机会，将李渊父子及其一伙人全部杀死。刘文龙平素与高君雅、王威友好，后来通过裴寂的关系与李渊相识。李渊平时待人以礼，不问出身高低，使刘文龙很受感动。因而当高、王指使刘文龙谋杀李渊父子时，文龙便把这一密谋全部告诉李渊。李渊得知高、王二人的密谋，大为惊讶。于是，他使令刘文龙继续与高、王二人保持密切的交往，以便随时掌握高、王的一言一行；同时立即布置铲除高、王二人的行动计划。
五月癸亥夜，李渊命令长孙顺德，赵文恪等从兴国寺新军中挑选五百名士兵，会同李世民所率精兵埋伏于晋阳宫城东门之左，加强戒备。一面又由刘文静和鹰扬府司马刘政会出面投书，到留守府控告王威、高君雅私通突厥，引突厥兵南攻，阴谋反隋的罪状。这时，王威、高君雅还蒙在鼓里，按照往常的惯例与李渊在一起查问政事。当刘政会进投密状时，李渊故意叫王威取状观看，刘政会说：“所告副留守事，唯唐公得视之。”李渊佯作惊讶，亲自接密状观看，然后转身对王威、高君雅说：“此人告公事，如何？”王、高这时才知道自己已落入李渊的圈套，急忙狂呼道：“此是反人欲杀我也！”话还没有说完，刘文静早已喝令左右上前将王威、高君雅拿下，囚在别室。王威、高君雅及其党羽的势力就这样轻而易举地被清除了。
第二天，李渊父子援引西汉霍光的故事，开大将军府，自称大将军，并署置府僚长史，任裴寂为长史，刘文静为军司马。又仿照晋文故事，编士兵为三军，效周武王克殷办法，称义兵为义士，正式宣布起义师反隋。六月己卯，李建成、元吉兄弟和柴绍先后率兵赶至太原会师，使义师人数增多，军容更为壮观，颇有一番取隋政权而代之的阵势。
李渊一宣布起兵，即成功地肃清了内部的反对力量，牢牢地控制住了太原及其附近地区。但从当时外部形势来看，李渊父子的处境仍然十分艰难，北面有强悍的突厥，在刘武周的勾结下随时有南攻的可能；南面西河地区正当西入关中的要道，却被忠于隋室统治的武将高德儒所把守，随时可以给义军以严重威胁。而突厥问题尤其难于对付，起兵后的第三天，突厥骑兵数万人兵临太原，闯入罗郭北门，大肆劫掠，取东门而出。李渊命令收编的当地义军骁勇千余人出战，全军覆没，致使太原城内顿时人心惶惶。面临这一突如其来的威胁，李渊父子和他们的谋臣策士反复考虑，觉得义军与强大的突厥相比，将少兵寡，战则不敌，缓则突厥兵将攻入太原，其局面将不堪收拾。于是命令裴寂、刘文静等一面严加守备，一面大开城门，城上不张旗帜，守城之人不许外看，亦不得高声，使敌人莫测高深。在黑夜，又派小股部队，偷偷潜出城外，绕至敌后方虚张声势，造成有援军源源而至的假象。并再三告诫出城的将领和士兵，只许据险扼守，不必与突厥兵交战，若突厥退去，也不必追击。突厥兵过去曾与任太原留守时的李渊交过手，深知李渊用兵一向神奇莫测，这次见太原敞开城门，久不出战，又不知底细，所以不敢贸然进兵，等了几天，见无机可乘，只好乘夜收兵归去。
由于义军刚刚起兵，来不及设立各级文武官吏，军士刚召集起来，又是匆促上阵，都未经过严格训练。于是李建成等首先草拟军法，宣告上下，三军听到军令，人人自律。进军路上，李建成与弟弟世民，身先士卒，与士兵同甘共苦。他们一路上力求不骚扰百姓，路旁菜果，非买不食，有偷窃者，马上进行赔偿，也不追究偷窃者。既争取了民心，又不轻易伤害军心。百姓们在隋统治者的残酷压榨下，对义军寄以新的希望，所以义师到来时，百姓供水供饭，进行慰劳；而义军遇有牛酒馈赠，则好意辞谢，竭力表明李家起兵与隋朝弊政不同。人们久苦隋政，见到这样的军队，自然人人感动，尽力支持。广大士兵见此情景，也更加鼓起了斗志。进至西河城下，李建成、世民兄弟未披盔甲，就察看地形，并下令不要伤害城内百姓，任其进出。次日，义军率兵攻城，飞梯刚靠城墙，士兵争先恐后，蜂涌而上，城内百姓在郡司法书佐朱知谨带领下，策动内应，引义军入城。这一仗打得干净利落，除杀了高德儒外，未伤一人，西河遂定。李建成、李世民凯旋回太原，往返不过九天。李渊见大军出师迅速告捷，喜形于色，连说：“以此用兵天下，横行可也！”并下令开仓赈贫，增募兵士，定下西入关中之策。
在西河之战回师后，李渊又进一步补充官吏，除前以裴寂为长史，刘文静为司马外，又任命唐俭、温大雅为记室，大雅和弟弟大有共掌机密，武士彟为铠曹，刘政会及武城崔善为、太原张道源为户曹，晋阳长姜警为司功参军，太谷长殷开山为府椽，长孙顺德、刘弘基、窦琮及鹰扬郎将王长谐、姜宝谊、杨毛为左右统军、副统军，其余文武人员，根据才能授任，人人欢喜。李渊又让两个儿子分掌军权，李建成为陇西公、左领军大都督，率左三统军，并任太原郡守；李世民为敦煌公、右领军大都督，率右三统军。并准许各置官属，地位在诸将之上。
李渊从五月甲子日起兵，到六月癸巳日建立政治、军事组织，只经过四十八天，在各方面就都取得了重大进展，为进一步西进打下了良好的基础。