后出任湖州(今浙江吴兴)刺史。该州长城方山(在今浙江长兴县西)下有湖陂,名西湖。南朝时曾疏凿,灌田3000顷,后失修废弃。他到任行至该处,命修复堤塘,重新灌田,水稻和养鱼获丰收,改善了百姓的生活。湖州任后,调为苏州(今江苏苏州市)刺史。在苏州,他移风易俗,毁淫祠,拆庙宇,修街道,开沟洫,改造环境,卓有政绩,但过于暴横。观察使上奏朝廷,德宗不予理睬。后迁大理卿、陕虢观察使。他“自为得志,益恣威虐”。对属下横加责罚,参军事姚岘不愿受其虐,投河而死。
贞元十四年(798),调任襄州刺史、山南东道节度观察使(治所在今湖北襄阳)。遇蔡州吴少诚叛乱,他率兵攻取了唐州之吴房、郎山县,趁势广募士兵,储备甲杖器械。他向朝廷提议,将襄州升为大都督府,德宗照允。他于是“公敛私输,持下益急,而慢于奉上”【注:见《新唐书·于頔传》】。他诬奏邓州刺史元洪贪赃,朝廷判流端州,行至枣阳县,他又命部下兵将元洪劫到襄州拘留,再上表说对元洪处刑太重,德宗无奈,复下旨除元洪为吉州长史。部属判官薛正伦卒,他令士兵围其第,强抢其女为儿媳。他的骄横为天下所闻,故人称不遵法度的节度使为“襄样节度”。累迁为检校尚书左仆射、平章事,封燕国公。
宪宗即位,朝纲稍肃,他略为收敛。要求以第四子于季友婚配宪宗长女永昌公主,宪宗应允。随即入朝,拜司空,同中书门下平章事。他当了宰相,其子于敏仗势横行,恣意杀人。经三司审问,他被贬为恩王傅,于敏赐死。当年十月,改授他为太子宾客【注:《新唐书》本传为拜户部尚书,此从《旧唐书》】。
元和十年 (815) ,朝廷出兵淮西,讨吴元济叛乱,他献出银7000两、金500两、玉带两条,以助军饷,宪宗不纳。十三年(818)八月卒,赠太保。