少时
郑虔出身的荥阳郑氏家族，史称“累数世而屡显，终唐之世而不绝”，“簪缨门第，诗礼传家”。少时即聪颖好学，资质超众，弱冠时，举进士不第，困居长安慈恩寺，学书无钱买纸，见寺内有柿叶数屋，逐借住僧房，日取红叶肄书，天长日久，竟将数屋柿叶练完，终成一代名家，成为士林佳话。开元始（约714年），初仕通直郎行率更寺主薄，为东宫椽属，专掌薄书事务，位任轻，却因才学出众，见赏于宰相苏颋，“临以忘年之契”。后仕左监门录事参军。
外任做官
开元中，任协律郎，正八品上，掌“调和律吕，监试乐人典课”，为宫廷文艺总管，公务之余集缀当朝异闻，初成草稿八十余卷，不幸遭人诬告“私撰国史”，仓惶焚稿，因罪外贬十年。
天宝五年（746年），唐玄宗李隆基爱其才，召还京师，然不了了之。
九年，虔自作山水画一幅，并自题诗献上，玄宗大加赞赏，御署“郑虔三绝”，并特置广文馆于最高学府国子监，诏授首任博士，从此扬名天下，史称“名士”、“高士”，时号郑广文。
天宝十三载（754年），迁著作郎，从五品上，掌撰朝廷碑志、祝文、祭文等。十五载，安史之乱爆发，文武百官被掳去洛阳，安禄山伪授水部郎中之职，虔托病未就，潜以密章致肃宗，以表忠心。
安史之乱平息后，却以三等罪流贬台州司户参军。在长安期间，郑虔与杜甫一见如故，常饮酒唱和，遂成莫逆。杜甫敬佩有加，尊称“郑老”、“老画师”，写有《何将军山林十首》、《醉时歌》、《送郑十八虔》等名诗。那时郑虔知识已臻于融会贯通境地，才艺发挥得淋漓尽致，除创作大量诗歌外，还写有《天宝军防录》、《胡本草》、《会粹》等截然不同学科的专著，并在长安等地遍留水墨、水山画、壁画、人物画和书法等作品，备受世人推崇。
郑虔的书画墨宝尤为后代皇室及达官贵人所珍藏，历代美术史家认为郑虔与王维一样是中国文人山水画的开创者，草书成就可与张旭媲美，高于怀素。
赴台州
至德二年（757年）寒冬腊月，郑虔以老弱残身，长途跋涉来到台州。时“台州地阔海冥冥”地处荒僻，文风未开，虔衣冠言动，不同时俗，有诗曰：“一州人怪郑若齐，郑若齐怪一州人。”虔自叹：“著作无功千里窜，形骸违俗一州嫌”。继又自勉：孔子虽泽加天下，犹有阳春照不到阴崖，“夫君子过者化”，我今谪此，当有教化之责。遂大阐文教，以地方官员身份首办官学，选民间优秀子弟教之，“大而冠婚丧祭之礼，少而升降揖逊之仪，莫不身帅之”，一时郡城“弦诵之声不绝于耳”，“自此民俗日淳，士风渐进焉。”（参见《台州府志》、《临海县志稿》）。
郑虔当年设帐授徒的地点，就在唐台州司户衙门里，即所居地。宋《嘉定赤城志·坊巷》：“户曹巷，在州东一里，以唐郑虔为户曹日居此，故名。”又《祠庙门》：“郑户曹祠，在州东一里户曹巷。祀唐郑虔，巷盖其所居地。俗讹为兴福将军。”民国《临海县志》卷十一《郑户曹祠》条、《郑虔宅》条，均有同样记载。经过郑虔的人文一脉，薪尽火传，至北宋，台州官府倡办教育事业明显发展。
康定二年（1041年）知台州州军事李防于州治后建州学，庙学合一，是为州学之始；景佑四年（1037年）临海县令范师道于先圣庙建县学其他各县先后即庙建县学。
南宋时，理学大家朱熹讲学临海、黄岩等地，至台州列为辅郡，台州文化教育事业得到了迅猛发展，至嘉泰元年（1201年）“举进士者逾七千”，（《临海墓志集录》）已有“小邹鲁”之称。景定三年（1262年），台州有县以上书院 12处，成了浙东学派的策源地之一。《临海县志稿宅第》引《舆地纪胜》和《辍耕录》载：元，集贤院待制黄岩人周仁荣，在郑虔故，宅原址建义塾，曾出土有落款的砚台两方，识为原故物，遂名义塾为“双砚堂”。
至治元年状元泰不华是双砚堂学生，蒙古人，随父居台，曾仕台州路达鲁花赤。
建学堂
清同治六年至十年北固山麓建广文书院，继称孝廉堂，后改额三台书院，设孝廉、五贡等课，奉祀广文先生，供考生参拜，清末民初，移至府学宫东南隅；民国时，三台书院改名台州府中学堂、浙江省立第六中学，经不断发展，成为今天的台州第一名校——台州中学。
上元至宝应年间（760年~862年），肃宗、代宗多次下诏“大赦天下”，左降官及流人“释放”或“还之”。郑虔欲归长安，台人恳留。一日虔与弟子林元籍等游于西郊八叠岭脚，见笋出石旁，出对曰：“石压笋斜出，”林元籍应曰：“谷阴花后开。”教化如此有效！虔大为惊喜，遂留台不归，此村命名“留贤”至今。
上元二年（761年）虔有《进表》上皇帝，恳辞复仕，愿遁迹林泉。
宝应元年（762年）袁晁农民军一度攻陷台州等浙江州县，虔暂避宁海亭旁丹丘寺，留诗五首。广德二年（764年）郑虔殁，台人以礼葬于城东三十里白石金鸡山。为颂公之德，不忘启蒙之功，特以其故居立祠，以官名地。唐宋有户曹巷、户曹祠、留贤村，元有双砚堂（砚为虔故物），明清有广文祠、广文坊、若齐巷，近现代有广文坊井、广文路等。
