归有光初娶魏氏，明嘉靖十六年（1537年）魏氏去世，归有光续娶安亭望族之女王氏。归有光长子归子孝于1548年染病而亡，年仅16岁，归有光为他作了《思子亭记》以表哀思。归有光另有子归子祜、归子宁，参与整理归氏遗文。五子归子慕为万历十九年(1591年)举人，两次被逐，隐居江村，死后赠翰林待诏。孙归昌世，归庄之父，为著名篆刻家、书画家、文学家，与李流芳、王志坚合称昆山三才子。曾孙归庄，为明末书画名家，明亡后曾于昆山起兵抗清，事败隐居，拒不事清，晚年致力整理归有光全集。