后出任湖州（今浙江吴兴）刺史。该州长城方山（在今浙江长兴县西）下有湖陂，名西湖。南朝时曾疏凿，灌田3000顷，后失修废弃。他到任行至该处，命修复堤塘，重新灌田，水稻和养鱼获丰收，改善了百姓的生活。湖州任后，调为苏州（今江苏苏州市）刺史。在苏州，他移风易俗，毁淫祠，拆庙宇，修街道，开沟洫，改造环境，卓有政绩，但过于暴横。观察使上奏朝廷，德宗不予理睬。后迁大理卿、陕虢观察使。他“自为得志，益恣威虐”。对属下横加责罚，参军事姚岘不愿受其虐，投河而死。
贞元十四年（798），调任襄州刺史、山南东道节度观察使（治所在今湖北襄阳）。遇蔡州吴少诚叛乱，他率兵攻取了唐州之吴房、郎山县，趁势广募士兵，储备甲杖器械。他向朝廷提议，将襄州升为大都督府，德宗照允。他于是“公敛私输，持下益急，而慢于奉上”【注：见《新唐书·于頔传》】。他诬奏邓州刺史元洪贪赃，朝廷判流端州，行至枣阳县，他又命部下兵将元洪劫到襄州拘留，再上表说对元洪处刑太重，德宗无奈，复下旨除元洪为吉州长史。部属判官薛正伦卒，他令士兵围其第，强抢其女为儿媳。他的骄横为天下所闻，故人称不遵法度的节度使为“襄样节度”。累迁为检校尚书左仆射、平章事，封燕国公。
宪宗即位，朝纲稍肃，他略为收敛。要求以第四子于季友婚配宪宗长女永昌公主，宪宗应允。随即入朝，拜司空，同中书门下平章事。他当了宰相，其子于敏仗势横行，恣意杀人。经三司审问，他被贬为恩王傅，于敏赐死。当年十月，改授他为太子宾客【注：《新唐书》本传为拜户部尚书，此从《旧唐书》】。
元和十年 （815） ，朝廷出兵淮西，讨吴元济叛乱，他献出银7000两、金500两、玉带两条，以助军饷，宪宗不纳。十三年（818）八月卒，赠太保。
