隋朝末年，可謂是多事之秋。由於隋煬帝的殘暴統治，天下大亂，農民起義不斷，各地群雄四起。農民造反，因為國君的暴政令他們難以承受；軍官造反，因為野心如同星火，一旦滋長便可擁有燎原之勢。對於躲在揚州不敢回關中的隋煬帝來說，這並不是很難醒悟。但是讓他意想不到的是，儘管“十八路反王，六十四處煙塵，七十二家盜賊”揭竿而起，最終推翻隋朝江山的卻是自己的親表兄——唐國公李淵。
李淵的祖上是靠軍功發跡的，後來通過和北周皇室以及隋朝的姻親鞏固家世顯貴。李淵的母親和隋煬帝的母親是親姐妹，所以李淵和隋煬帝楊廣是表兄弟關係。李淵的父親在他年幼的時候便過世了，當時年僅七歲的李淵世襲父親的公爵封號為唐國公。李淵的姨母獨孤皇后很關心李淵的成長，把他接到宮中居住。李淵比楊廣年長三歲，但那時的天下是楊家的，所以表兄弟二人的地位不可同日而語。
儘管李淵有時會因為寄人籬下而悶悶不樂，卻也在宮廷環境的耳濡目染下成長為一名青年才俊，年僅十六歲的時候，李淵便被姨夫隋文帝楊堅賜予一柄御製寶刀，封為御前侍衛。儘管這個官職不大，但是得到提拔的機會很多，所以不失為一份好差事。李淵還藉著護衛隋文帝上朝的機會，站在一旁，將隋文帝處理政務、與朝臣討論國家大事的一舉一動看在眼裡、記在心上，暗暗學習治國之道。
李淵聰慧好學、直率豁達、謙虛仁厚的性格，不僅讓他擁有了在宮廷中晉升的機會和極好的人緣，也為他帶來了一段美好的姻緣。李淵的妻子竇氏也出生在一個貴族家庭，她的父親是隋朝的定州總管，母親是北周武帝的姐姐。竇氏自幼聰慧，喜愛讀書，並且有過目不忘的本領。周武帝十分寵愛這個外甥女，自幼便讓她在宮中生活。竇氏小小年紀就十分關心政事，並且有自己的獨特見解。父親竇毅聽說了這件事，覺得自己的這個女兒才貌雙全，不可以隨便許配給凡夫俗子，應當為她求得一個賢夫。就這樣，在親人的呵護下，竇氏到了出閣的年齡，她的美貌和才情引得四方的青年前來求婚，李淵也慕名而來。竇毅在自家門口的屏風上畫了兩隻孔雀，讓前來求婚的人用箭射孔雀的眼睛，射中者才能入選，然而數十位求婚者沒有一個人能夠射中那隻孔雀。輪到李淵的時候，只看他凝神拉弓，射中孔雀的兩隻眼睛。竇毅十分高興，按照承諾將寶貝女兒許配給了李淵。
婚後，竇氏為李淵生下四個兒子：李建成、李世民、李元霸、李元吉，還有一個聰穎的女兒，就是平陽公主。竇氏不僅在生活上悉心照料自己的夫君，當李淵在朝廷上遇到煩惱時，她就像一朵解語花，耐心地勸慰自己的夫君，幫他分析事情的是非得失，提出中肯的意見，可謂是難得的賢內助。
隋煬帝從小就性格驕縱，經常嘲弄自己的表兄。他曾當著群臣的面羞辱李淵，說他是“阿婆面”。李淵十分不悅，但是礙於君臣關係，敢怒不敢言，只好獨自嘆氣。竇氏得知後，對這個稱呼進行重新解讀，令李淵振奮起來。在李淵之後的政治生涯中，竇氏也起到了非常重要的作用。儘管由於隋文帝奪走了自己舅舅宇文家的天下，竇氏十分痛恨楊家，但是理智告訴她，為了自己夫君的前程，絕對不能跟當時的國君隋煬帝對著幹，她勸李淵迎合隋煬帝聲色犬馬的愛好，將蒐集到的寶馬良駒進奉給他，果然使李淵的職務得到了提升。
李淵在隋煬帝即位後，先後被任命為滎陽、樓煩兩個郡的太守，後來又被任命為殿內少監、衛尉少卿等職位。大業九年（613年），隋煬帝征討高句麗的時候，李淵在懷遠鎮督運糧草。同年農曆六月，楊玄感利用民怨民憤舉兵反隋，李淵奉隋煬帝之命鎮守弘化郡。在這期間，李淵樹立威信、廣交各路英豪，力量得到了擴充。
隨著隋煬帝越來越殘暴不仁，他的猜疑心也越來越重。有一次，李淵因病沒能去參加朝會，隋煬帝便問李淵的外甥女王氏：“你的舅舅怎麼遲遲沒到？”王氏回答說舅舅患病在家，隋煬帝竟然說：“他病了？病得快要死了嗎？”這口氣彷彿在盼望李淵趕快死掉。李淵聽說後，內心十分恐懼。因為那段時間民間正在盛傳“李氏應為天子”，受到嫉妒心的驅使，隋煬帝開始對李姓家族發難，朝中的一位李姓大將軍因為這個原因受到懷疑被滿門抄斬。李密也是因為這個原因走投無路被逼去瓦崗寨起義。李淵為了自保，開始收受賄賂、沉迷酒色，使隋煬帝逐漸放鬆了警惕。
大業十一年（615年），李淵調任山西，到達龍門時，遇上了農民起義。李淵率兵擊敗了農民起義軍，收編了數萬餘人，軍力大增。第二年（616年），他升為右驍衛將軍，在突厥侵犯邊塞時，隋煬帝讓他和王仁恭一同守衛邊塞。
對於李淵來說，他不僅擁有超越旁人的軍事實力和經濟基礎，還控制著山西中部的很大一片區域。但是，在群雄逐鹿中原的混亂形勢下，他卻沒有馬上採取行動。其實，李淵是一個深謀遠慮並且野心勃勃的人，他早就對隋煬帝的暴虐統治心懷不滿。當他在山西的前幾年裡，也就是農民起義剛剛開始爆發的時候，就開始產生了取而代之的想法。但是當時他還沒有自己控制的地區和軍事力量，所以不得不對隋煬帝謙卑順從。當他成為晉陽的留守，擁有了自己的領地後，就如同雄鷹迎來了一陣好風，於是展開豐滿的羽翼，憑藉風力，準備一飛沖天。