曾祖父：房翼，官至镇远将军、宋安郡守，袭爵壮武伯。

　　祖父：房熊，官至褐州主簿。

　　父亲：房彦谦，官至泾阳县令。

　　母：出自陇西李氏姑臧房，常州刺史、银青光禄大夫李玄道的堂姐妹

妻子

　　夫人卢氏

子女

儿子

　　长子房遗直，娶杜氏。嗣父亲梁国公的爵位，永徽初年，为礼部尚书、汴州刺史。弟弟房遗爱，娶唐太宗女高阳公主，拜为驸马都尉，官至太府卿、散骑常侍。公主骄横，密谋废黜房遗直而夺其封爵，永徽年间，诬告房遗直对她无礼。唐高宗令长孙无忌审理此事，查出了高阳公主与房遗爱谋反的情况。房遗爱伏诛，高阳公主赐自尽，诸子流放到岭表。房遗直以父亲的功劳特赦，除名为庶人。停止房玄龄的配享。五世孙房阶为大理司直；房阶子房鲁，字咏归；房鲁子房重，字慕，武功尉；房重子房谔，大理评事；房谔四子：房从约、房从绎、房从绚、房从绾。

　　次子房遗爱，娶唐太宗之女高阳公主。“诞率无学，有武力”。贞观二十二年（648年）被唐太宗赐婚，娶当时最受太宗宠爱的女儿第十七女高阳公主（后改封合浦公主）为妻，并收公主侍女淑儿为妾。成婚后，房遗爱被任命为右卫将军。房玄龄死后，其嫡长子房遗直本当承继为银青光禄大夫，因高阳公主的缘故，要让给弟弟遗爱，唐太宗不许，高阳公主因此很失望。唐高宗时，房遗爱被任命为房州刺史。永徽四年（653年），房因谋反事件被杀，高阳公主亦被赐死。房遗爱有曾孙房绛，生房晦、房勋。房晦生房凝，字玄俭，郢州刺史；房勋生房克让，房克让生房邺、房复。房邺字正封。房遗爱的孙子房沼后为监察御史。

　　三子房遗则，娶唐高祖之子荆王李元景的女儿。

　　四子房遗义，娶吴氏。

女儿

　　房氏（传说名房奉珠，韩王李元嘉王妃）。

　　房氏，嫁莱州刺史兼莱州港造船使郑仁恺。

孙

　　房承先，房遗义之子，朝议郎、行东海郡录事参军。开元三年（715年）卒，年三十八 曾孙：房安禹，开封尉、右骁卫骑曹

曾孙

　　房晋晋，早卒