李建成与李世民兄弟二人出生的时候，当朝皇帝是隋文帝杨坚。

李氏家族同杨氏家族有着亲密的裙带关系。杨坚的祖先亦曾在后魏时出镇，移家武川，与李氏先世经历大致相同。

杨坚的父亲杨忠，与李虎同为后魏“八大柱国”之一，而且居于同州。李虎宅居州城西北，面朝泺水，杨忠则宅居州城东南，面临大路。两家东西相望，仅隔二里路，平时往来频繁。李虎被追封为唐国公的时候，杨忠被封为隋国公。

后来杨坚与李昞成年，各娶独孤氏姊妹为妻，两家进一步联为姻亲。李昞去世的时候，李渊年幼，刚刚7岁，就袭封了唐国公。杨坚对这位小姨甥，似乎有意照顾。

杨坚任北周宰相的时候，恢复了李氏汉姓，代周称帝之后，先补授李渊为千牛备身（就是皇帝的贴身警卫），隋文帝受禅之时，李渊为禁卫官，相当受信任。后又任他为地方官，曾任谯（现在的安徽亳县）、陇、岐（现在的陕西凤翔县）三州刺史。

仁寿四年（604年），杨广杀兄弑父，篡取了帝位，是为隋炀帝。李渊与杨广在亲戚关系上是姨表兄弟，李渊年长三岁，其甥女王氏又是杨广的后宫女嫔。因此杨广称帝之后，李渊的优厚地位并未改变，一直到大业九年（613年）前后，与隋政权的关系基本上是密切的。

大业初年，李渊被任为荣阳（现在的河南郑州市）、楼烦（治现在的山西静乐县）太守，后还朝转为殿内少监。殿内省属隋中央政府机构五省（尚书省、门下省、内史省、秘书省、殿内省）之一。

殿内少监为殿内省长官，专掌朝廷供奉诸事，秩从四品。大业之时，郡太守秩分三品、正四品、从四品三等。李渊被“征为殿内少监”，当不至于降级，据此可以推知李渊任郡太守时其秩当为从四品。

由于李渊从地方调至中央，因而他的一家又返居长安。

大业九年（613年），李渊迁卫尉少卿，秩正四品，掌管朝廷宫殿卫事。后来隋炀帝发动征辽东的战争，李渊在怀远镇负责督运。杨玄感起兵反隋的时候，他又奉命驰驿坐镇弘化郡，兼知关右诸军事。

李渊在隋朝的官品始终在三品以下，未能进入枢要的行列，原因可能是由于李昞的早亡。

关陇贵族的特点是爵位世袭，可官位仍须凭勋功、才能授予。由于李昞短命，生前无显赫的建树，去世之时李渊又年幼，加上杨隋统治者在篡周以后，为了巩固自己的地位，对非杨氏的关陇贵族，一再实行打击排斥的政策。

“其草创元勋及有功诸将，诛夷罪退，罕有存者。”

这多少使李氏家族在仕途上蒙上一些暗淡的色彩。李渊给长子取名“建成”，二子取名“世民”，就是取其建功成业，济世安民，以重振门望家声的意思。这既是他对后辈的期待，也包含着他本人不满于现状的情绪。

当然，由于裙带关系，李渊在隋朝廷中的地位毕竟是优越的。随着李渊年龄的增长，朝廷又提供了他发挥才能的舞台。

特别是大业九年（613年），李渊由文官而转为武官，并一再迁升，这对于一个军事贵族的后裔来说，意味着重温先祖旧业的机运来临了。