杜淹年轻时聪慧明辨，学识广博，颇有美誉，与同乡韦福嗣是莫逆之交。他对韦福嗣道：“皇帝喜欢任用隐士，苏威便是在隐居是被征辟为美职。”因此一同隐居在太白山，其实是在沽名钓誉。隋文帝听闻，极为憎恶，将二人流放江南。后来，杜淹返回乡里，得到雍州司马高孝基的举荐，授为承奉郎，累迁至御史中丞。

归附唐朝

　　武德二年（619年），杜淹成为王世充的太尉府官属。四月，王世充建立郑国，任命杜淹为吏部尚书，对他非常信任。当时，杜淹因与侄子杜如晦不睦，便在王世充面前进谗，致使杜如晦的兄长杜某（名不详）被杀。杜如晦的弟弟杜楚客在郑国为官，也遭到囚禁。

　　武德四年（621年），秦王李世民平定王世充，杜淹作为郑国高官，被定为死罪。杜如晦以德报怨，向李世民求情，杜淹得以免死。后来，杜淹因久不升职，欲投靠太子李建成，被封德彝告知房玄龄。房玄龄知道杜淹擅长阴谋，害怕李建成得到他会对李世民不利，便举荐杜淹为天策府兵曹参军、文学馆学士。

　　武德七年（624年），庆州刺史杨文干起兵叛乱，李建成与李世民的矛盾加剧。唐高祖认为杜淹未能劝导李世民，致使其兄弟失和，将他和东宫属官王珪、韦挺一同流放巂州（今四川西昌）。李世民知道杜淹无罪，只是受到牵累而已，赠他黄金三百两。

担任宰相

　　武德九年（626年），李世民继位，是为唐太宗。杜淹被召回朝中，授为御史大夫，封安吉郡公，食实封四百户。唐太宗知道杜淹熟知历代典制，让他主持东宫仪式簿领的裁订工作。

　　贞观元年（627年），杜淹被任命为吏部尚书，参议朝政，成为宰相。他前后举荐四十余人，后都成为知名官员。当时，杜淹身兼二职，却无清廉之誉，又和勋臣长孙无忌不和，因此受到舆论的非议。

病重去世

　　贞观二年（628年），杜淹患病，唐太宗亲自前去探望，并赏赐绢帛三百匹。同年十月，杜淹病逝，追赠尚书右仆射，谥号为襄。