祖父：解子元，授安福州判宫，迁太史院校书郎，除承务部、东莞县尹，在元末战乱中死于乱兵。
父亲：解开，二魁胄监，五知贡举，以父死节赠官参知政事不拜，明初授以官又不受，一心从事著述、办学，培养人才。
母亲：高妙莹，贤良淑慧，通书史、善小楷、晓音律，是解缙的启蒙老师。
兄：解纶，洪武中亦官御史，后改应天教授。
子：解祯亮、解祯应。
侄：解祯期。