皇庆二年(1313),随王寿衍入京,居崇真万寿宫。由于素有诗名,京中士大夫和文人学士,如杨载、袁桷、虞集、范梈、黄潽、赵雍等,皆争相与之交游,因而虽隐迹黄冠道士之中,却列文士学人之名,被当世名士称为“诗文字画,皆为当朝道品第一”。仁宗闻其名,欲官之,张雨坚辞不仕,乃归句曲。往来于华阳、云石间,作黄蔑楼,储古图史甚富,日以著经作诗为业。延佑(1314—1320)初离京返杭之开元宫。至治元年(1321),开元宫毁于火,次年回茅山,主崇寿观及镇江崇禧观。惠宗至元二年(1336)辞主观事,日与友人故酒赋诗以自娱。或焚香终日,坐密室,不以世事接目。