其家世有藏书之风，祖父张嘉贞，武后时任监察御史，官封河东侯。喜收书，去世后唯有图书遗赠子孙。父亲张延赏，亦好藏书。他继承了两代人的藏书，并继续典籍的收藏，史籍记载他“家聚书画侔秘府”，收藏法书名画为唐一代之冠。孙张彦远成为唐末著名书画家，并撰有《历代名画记》。其家世有藏书印“河东张氏”、“乌石矦瑞”、“鹊瑞”等。