五世祖徐文整，梁云骑将军，阳平太守，慈源候。

　　高祖徐综，陈稜威将军，始安太守，袭慈源候。驸马都尉，尚陈永嘉公主。

　　曾祖徐方贵，陈奉朝请，江夏王侍郎，伏波将军，早卒。

　　祖父徐孝德，隋唐两朝大臣，隋末任谒者台奉员外郎，唐朝时官至果州刺史。

　　祖母姜氏，依唐制，因长女徐惠为太宗贤妃，封正四品金城郡君。

　　父亲徐齐聃，“善制诰，为时所称” 唐高宗时累迁兰台舍人、蕲州司马。

　　叔父徐齐庄，玄宗朝恩封长城县子。

　　长姑徐惠，唐太宗徐贤妃，工于诗文。

　　次姑徐氏，唐高宗徐婕妤，有文藻。

妻室

　　嫡妻岑氏，是岑羲之妹。

儿子

　　徐峤，字巨山。开元中为驾部员外郎、集贤院直学士，迁中书舍人、内供奉、河南尹。封慈源县公。父子相次为学士，三世为中书舍人。