934年（清泰元年），参加进士考试未被录取，写了一篇《遣愁文》来自我解嘲，他的文章寓意卓越豪迈，观者认为有公辅大臣的器量。935年（清泰二年），登进士第。
后晋天福年间，华帅刘遂凝召他为从事。刘遂凝之兄刘遂清管理国家财经大事，上奏任命他为盐铁巡官。
944年（开运初年），改任度支推官。宰相李崧领管盐铁，又上奏任他为推官，加任大理司直，升为右拾遗。桑维翰任开封府尹时，又上奏任他为判官。
后汉乾祐初年，史弘肇统率侍卫亲军，威权震动皇上，为人残忍自傲，没有人敢忤逆他的命令。他的部下官吏控告百姓违犯盐禁，论法当死。讼狱将要决断，薛居正怀疑其罪不实，召来这个百姓讯问，原来这个官吏与他有私怨，因此诬告他。逮捕这个官吏来讯问，他供认不讳，被处罚。史弘肇虽然很恼怒，但也不能使他屈服。
951年（广顺初年），迁升为比部员外郎，统领三司推官，不久任知制诰。周太祖征伐兖州，诏令薛居正跟从前往，因为功劳加任都官郎中。
956年（显德三年），迁左谏议大夫，擢弘文馆学士，判馆事。
959年（显德六年），使沧州定民租。不久，因为他的才干扬名朝廷，擢刑部侍郎，判吏部铨。
北宋初，调任户部侍郎。太祖亲自征讨李筠及李重进，管理留司三司，不久出任许州知州。
962年（建隆三年），为枢密直学士，权知贡举。湖湘刚平定，朝廷任命居正知朗州。正遇逃兵数千人聚结山泽为盗，监军使怀疑城中僧侣一千多人都是同伙，准备全部捕杀。居正用计迟缓捕杀，于是率领军队消灭群寇，擒俘盗贼主帅汪端，讯问他，得知僧侣们并未参预其事，僧侣们得以存活下来。
963年（乾德元年），加兵部侍郎。太祖将要亲自征伐太原，大量发动百姓运送粮草。当时河南府闹饥荒，逃亡者四万家，太祖为此感到忧虑，命居正乘驿马招集百姓，十天后百姓都恢复生业。朝廷命居正以本官参知政事。
967年（乾德五年），加吏部侍郎。
972年（开宝五年），兼淮南、湖南、岭南等道提举三司水陆发运使事，兼判门下侍郎事，监修国史及五代史。
973年（开宝六年），拜门下侍郎、平章事。同年，薛居正等修《五代史》（《旧五代史》）成。一年后，太祖赐给他器币。
975年（开宝八年），二月，太祖鉴于天下已定，对居正等人说：“年岁丰登，万物丰盛，如果不是上天保佑，哪里能这样。应当共思济物，如果政事有失，应当予以拯救，来实现我的志向。”居正等愈发勤修政事，来符合太祖的意愿。
976年（开宝九年），晋王赵光义即位，薛居正加左仆射、昭文馆大学士。
981年（太平兴国六年）六月，随从太宗平定晋阳回来后，进官位为司空。由于服丹砂中毒，正在上奏政事时，发觉毒发，于是出了殿堂。到殿门外，喝了一升多水，堂吏把他扶到中书省，已经不能说话，只是指着廊庑间的储水器。身边的人把水取来，不能喝，吐气像烟雾，用车载回家里，随即便去世，享年七十。追赠太尉、中书令，谥号文惠。
薛居正气质容貌伟岸，喝酒喝到几斗还能不醉。秉性孝顺行为善良，居家生活节俭。任宰相时处事宽厚，不喜欢苛察，士大夫对此很为赞许。从参政到任宰相，共十八年，太祖对他的恩宠始终不减。
先前，太祖曾经对居正说：“自古帝王很少能够正己，臣子大多没有远略，虽然身居显位，不能垂名后世，而身陷不义之名，子孙遭殃，因为君臣没能尽行其道啊。我看唐太宗接受大臣谏议，直接指出他的过错而不以为耻。在我看来，不如自己不做错事，使别人没有指责。又观古代的大臣很多不能慎终如始，能够得以保全而且享受厚福的人，是由于忠正啊。”开宝年间，薛居正与沈伦一起任宰相，卢多逊任参知政事。开宝九年（976年）冬天，卢多逊也任平章事。到居正死后，沈伦被贬官，卢多逊流放南方，议论的人说薛居正坚守臣道受福，果然符合太祖之言。
999年（咸平二年），薛居正得以配飨太宗庙庭。
1226年（宝庆二年），宋理宗赵昀图二十四功臣神像于昭勋阁，薛居正位列其中。
