父亲林章（字初文）也是一位很有才情的诗人，上书得祸，不幸45岁就死于监狱。林章留下二子，君迁与古度，均能诗。据《闽川闺秀诗话》，林古度的妹妹林玉衡也是位才女，7岁能诗，为长老传诵。林氏风雅传家，个个都是诗人。林古度曾纳一妾，叫吴娟娟（字眉仙），为秦淮河上的著名歌妓，亦擅长诗画，著有《萍居草》。