牛僧孺经常同白居易坐石论道。牛僧孺坦言：“尝与公迫观熟察，相顾而言，岂造物者有意于其间乎？将胚浑凝结，偶然成功乎？然而自一成不变已来，不知几千万年，或委海隅，或沦湖底，高者仅数仞，重者殆千钧，一旦不鞭而来，无胫而至，争奇骋怪。”为了纪念二人的友情和记载牛僧孺的爱石情愫，白居易特于会昌三年(843)五月题写了著名的《太湖石记》，简明而深刻地阐述了有关藏石赏石方面的理论与方法，从而提升了牛僧孺在古代石坛上的影响。鉴于牛僧孺藏石甚多，且多佳作，抽象具象均有，形神兼备，独树一帜，牛僧孺因而被白居易视为唐代的藏石大家。白居易为牛僧孺题写的《太湖石记》，更成为千古名文，为世人所传颂。兹将原文抄录于此，以飨读者：

　　古之达人，皆有所嗜。玄晏先生嗜书，稽中散嗜琴，靖节嗜酒，今丞相奇章公嗜石。石无文、无声、无臭、无味，与三物不同，而公嗜之何也。众皆怪之，吾独知之。昔故友李生名约有言云，苟适吾意，其用则多。诚哉斯言，适意而已，公之所嗜可知之矣。公以司徒保厘河雒，治家无珍产，奉身无长物。惟东城置一第，南郭营一墅。精葺宫宇，慎择宾客。性不苟合，居常寡徙，游息之时，与石为伍，石有聚族，太湖为甲，罗浮、天竺之石次焉。今公之所嗜者甲也。先是公之僚吏，多镇守江湖，知公之心，惟石是好，乃钩深致远，献瑰纳奇，四五年间，累累而至。公于此物独不谦让，东第南墅，列而置之。富哉石乎，厥状非一。有盘拗秀出如灵邱鲜云者，有端俨挺立如真官吏人者，有缜润削成如珪瓒者，有廉棱锐刿和剑戟者。又有如虬如凤，若跬若动，将翔将踊；如鬼如兽，若行若骤，将攫将斗。风烈雨晦之夕，洞穴开皑，若欲云□雷，嶷嶷然有可望而畏之者，烟消影丽之旦，岩壑□□，若拂岚扑黛，蔼蔼然可狎而玩之者。昏晓之交，名状不可。撮而要言，则三山五岳，百洞千壑，□缕簇缩，尽在其中。百仞一拳，千里一瞬，坐而得之，此所以为公适意之用也。会昌三年(843)五月丁丑记。《太湖石记》，是中国赏石文化史上第一篇赏石名作。在为牛僧孺题写的这篇名作中，白居易提出了“石无文无声，无臭无味”及“古之达人，皆有所嗜……诚哉是言，适意而已”的观点；提出了“石有族，聚太湖为甲，罗浮天竺之徒次焉”的石种选择标准；这篇名作，还向后人传达了牛僧儒痴迷太湖石“东弟南墅，列而置之，富哉石乎”的藏石盛况和“公于此物，独不谦让……待之如宾友，视之如贤哲，重之如宝玉，爱之如儿孙”的爱石情结。更重要的是，文中所提到的“石有大小，其数四等，从甲乙丙丁品之，每品有上中下各刻于石阴，曰：牛氏石甲之上、丙之中、乙之下。”的这种对赏石分等论级的品评方法，并为后来者所效仿。

　　牛僧孺在洛阳城东和城南分别购置了一所宅邸和别墅，他“治家无珍产，奉身无长物”，“游息之时，与石为伍”。牛僧孺在各地任职的朋友同好都知道他有石癖，便千方百计搜奇献瑰，“公于此物独不廉让，东第、南墅，列而致之……三山五岳，百洞千壑，视缕簇缩，尽在其中，百仞一拳，千里一瞬，坐而得之。”牛僧孺所爱蓄藏之奇石，多半是出自苏州太湖的太湖石。一次，他在苏州任地方官的朋友李某辗转搞来几座“奇状绝伦”的太湖石峰，“池塘初展见，金玉身凡轻。侧眩魂犹悚，周观意渐平。似逢三益友，如对十年兄。旺兴添魔力，消烦破宿酲。”牛僧孺激赏之余，写成一首40句的五言长诗，寄奉同好白居易和刘禹锡，白、刘二人前往观瞻后，也大为称奇，各自奉和了一首，白居易称赞其“在世为尤物，如人负逸才”，自叹虽曾为苏州刺史，却无缘得此奇石，“共嗟无此分，虚管太湖来”。刘禹锡在诗中也提到：“有获人争贺，欢遥众共听。一州惊阅宝，千里远扬舲。”读来令人想见其风采。牛僧孺在邸墅中罗致了大量的太湖石峰，朝夕相对，如坐春风，“待之如宾友，亲之如贤哲，重之如宝玉，爱之如儿孙。”并把太湖石峰从大到小分为甲乙丙丁四类，每类分别品评为上中下三等，刻于石表，如“牛氏石甲之上”之类，这便开了唐末宋初品石之风的先河。