隋朝末年，农民起义遍及全国各地，615年（大业十一年）隋炀帝杨广以李渊为山西河东慰抚大使，不久又拜太原留守，以北备突厥，并镇压今山西省境内的农民起义。当时，隋政权已呈土崩瓦解之势，统治阶级一再发生大分裂，地主武装和义军星罗棋布于各地。
李渊素有大志，移官太原后，看到隋朝即将败亡，萌动了取而代之的念头。
大业十二年（616年），隋炀帝第三次驾幸江都。他畏于北方农民起义的发展，不敢北还，隋朝失去了对北方的控制。
617年（大业十三年）二月，李渊治下驻马邑（今山西朔州市）的鹰扬府校尉刘武周发动兵变，杀死马邑太守王仁恭，据马邑而自称天子，国号定杨。三月，刘武周攻破楼烦郡，进占汾阳宫，并与突厥勾结，图谋南下争夺天下。炀帝闻讯后大怒，要提李渊到江都治罪。在此危急情势下，李渊对李世民说：“事急矣，可举事。”其周围的心腹裴寂、许世绪、武士眜等也纷纷劝李渊起兵，李渊终于下定了反隋的决心。于是，李渊借口防备刘武周和突厥南下，派李世民、刘文静、长孙顺德、刘弘基等人到各地募兵，旬日之内募集到数千人。随后，李渊派人往河东召回其子李建成和李元吉。
太原副留守王威和高君雅看到李渊招兵买马，怀疑李渊“有异志”，便密谋骗李渊父子到晋祠祈雨，除掉李氏，向隋炀帝邀功请赏。不料，这一密谋被晋阳乡长刘世龙获悉，告知了李渊。五月十五日，李渊、李世民先发制人，指使开阳府司马刘政会告发王威、高君雅二人暗中勾结突厥，引突厥入寇中原，借此将二人囚禁。五月十七日，恰巧数万突厥军队进攻晋阳，李渊立刻名正言顺地命人将两人推出斩首。同时，李渊又设下空城计，“开诸城门”，吓退了突厥的军队。接着，李渊开始作起兵反隋的准备工作。
首先，李渊听从刘文静等人的建议，制定了“乘虚入关，号令天下”的战略。当时天下虽然群雄并起，但许多人并无大的志向，只图据地自保，或是瞻前顾后，犹豫不决。李渊的起兵战略，以入关夺取长安为军事目标，以开创帝业，最终取代隋为政治目标。在实现目标的过程中，又强调以“废皇帝（指隋炀帝）而立代王”为策略。
第二，募集兵士，扩充地盘。李渊起事后，让部下开仓赈济贫民，公开募兵。据《大唐创业起居注》记载，每天有千余人来投军，“二旬之间，得众数万”。
第三，北结突厥。隋末，东突厥汗国崛起达到极盛，东自契丹、室韦，西尽吐谷浑、高昌诸国，都臣属于东突厥汗国，窦建德、薛举、刘武周、梁师都、李轨、王世充等势力也臣属于东突厥汗国，东突厥汗国控弦之士百万，古代戎狄没有比东突厥汗国更强的。李渊深知以太原为根据地起兵南下，必须处理好与突厥的关系。否则突厥包抄后路，后果不堪设想。他在出任太原留守时，就曾对李世民说：“历山飞不破，突厥不和，无以经邦济时也。”李渊用空城计吓退突厥兵后，立即亲自写信给突厥始毕可汗，说：“我今大举义兵，欲宁天下，远迎主上（指隋炀帝）还，共突厥和亲。……若能从我，不侵百姓，征伐所得，子女玉帛，皆可汗有之。”（但是李渊没有把征伐所得的子女交给突厥，也没有把财物都给突厥。李渊把征战得到的大量女人放回家去让她们与亲属团聚。）李渊起兵之前，隋朝已经统治崩溃、名存实亡。 李渊起兵时地盘极小、只有太原，因为隋炀帝留下的恶劣形势，为了防止突厥与刘武周攻打自己，李渊才暂时结好突厥。（后来李渊建立唐朝之后，不久就与突厥开战。唐朝一面打败众多敌人，扩张，进行统一战争，另一面抵御突厥，还消灭突厥支持的割据势力，削弱了突厥可汗的力量与威望，还分化突厥。）起兵南下之前，突厥以一千匹马来互市，李渊挑选其中好的，只买了一半。南下至龙门时，刘文静、康鞘利以率领派500人、2000匹马到达。李渊因为突厥来的晚而高兴，对刘文静说：“我西行及河，突厥才到达，兵少马多，都是你的功劳。”
第四，东和李密。李渊起事后，为使东面有30万人马、战将千员的李密起义军不致成为自己进兵关中的掣肘，令温大雅带着他的信去见李密，信中一面吹捧李密是当今天下大乱之际唯一能宁世安民的英雄，表示对李密的拥戴；一面剖白自己胸无大志，无意灭隋，从而使李密放松了对他的警惕防范。
六月初五日，李渊在晋阳设起义堂（亦称号令堂），将军队分为三军，统称“义士”。裴寂等尊称李渊为“大将军”。十四日，李渊在晋阳建大将军府，以长子李建成为陇西公、左领军大都督，统率左军；以次子李世民为敦煌公、右领军大都督，统率右军；以四子李元吉为姑臧公，统率中军。以裴寂为大将军府长史，刘文静为司马，殷开山为掾，刘政会为属，长孙顺德、王长谐、刘弘基、窦琮为左右统军、副统军。并下令开仓放粮。
七月初四日，李渊在晋阳宫城东的乾阳门街军门前竖白旗誓师，并任命四子李元吉为镇北将军、太原郡守，让其留守晋阳。李渊在誓文中历数了隋炀帝杨广的种种罪恶，宣布要“兴甲晋阳，奉尊代邸，扫定咸洛，集宁寓县”。初五日，李渊亲率长子李建成、次子李世民及义师甲士3万自太原挥兵南下，直指关中。
七月，李渊与长子建成、次子世民挥师南下，先后破霍邑（今山西霍县）、渡黄河，向西南挺进。当时，隋炀帝远在江都（今江苏扬州），关内隋军力量薄弱；中原瓦岗军与王世充激战方酣，均无暇西顾。因此李氏父 子进军神速。
617年（大业十三年）十一月初九日，李渊率军攻陷长安，李渊进入长安不久，就宣布遥尊隋炀帝为太上皇，拥立炀帝孙代王杨侑为帝，改元义宁，是为隋恭帝。恭帝进封李渊为唐王，以李建成为唐王世子；李世民为京兆尹，改封秦国公；封李元吉为齐国公。618年（义宁二年）李世民徙封赵国公。
公元618年3月，隋炀帝在江都被部将杀死。五月，李渊即位，国号唐，建元武德，定都长安，是为唐高祖。李渊以李世民为尚书令。不久，又立李建成为皇太子，封李世民为秦王，李元吉为齐王。
