家族历史可追溯到春秋时期孔子的学生颜回，历史祖父颜之推为南北朝时的著名学者，先后仕于梁、北齐、北周，终于隋，于是家居关中，遂为京兆万年（今陕西长安）人。颜之推学识渊博，尤善《周官》、《左传》，著有文集30 卷、《颜氏家训》20 篇，并行于世。颜之推从山东辗转跋涉到关中，跨越了南北阻隔，在读书治学的实践中，发现了不少典籍在流传中产生的问题，以及语言因古今、地域的不同而出现的差异，他对这些问题作了开创性的探讨，把这些心得与其他内容一并写入《家训》以备子孙遵循。

　　颜师古的父亲颜思鲁，以儒学显名，撰有《汉书决疑》。武德初年他为秦王府记室参军事。师古受家学熏陶，博览群书，精训诂之学，善作文章。隋仁寿年间，经人举荐，授安养尉之职。后因失职罢归长安，此后长达十年未能调任新职，迫于生计，以授徒为生。

　　颜师古兄弟四人。二弟颜相时，三弟颜勤礼，字敬之，颜真卿曾祖，幼而朗悟，识量宏远，工于篆籀，尤精训诂，与两兄师古、颜相时同为弘文、崇贤两馆学士，校定经史。四弟颜育德，任太子通事舍人，于司经校定经史。