隋炀帝末年，德棻授官为药城（今安徽亳县东南）长。当时天下纷乱，炀帝已是穷途末路，德棻很明智地没有远程跋涉去就职。待李渊起兵反隋后，李渊从父弟李神通在今陕西鄠县起兵响应，德棻就加入了这支反隋军队，在总管府任记室。李渊入据长安后，先为丞相，奉代王杨侑为傀儡，德棻即任大丞相府记室。李渊称帝后，德棻随即转为起居舍人，“甚见亲密”，又迁秘书丞。在贞观年间德棻历任礼部侍郎，兼修国史，太子右庶子，雅州刺史，秘书少监；在唐高宗时，任过礼部侍郎、兼弘文馆学士，监修国史，太常卿，国子祭酒，兼授崇贤馆学士。