丘迟8岁能文。早年仕于南朝齐,任太学博士、大司马参军。因父丧,两次去职。服丧期满,任西中郎参军。母亡,又去职服丧。以秀才后仟殿中郎、车骑录事参军。入萧衍幕为骠骑主簿。梁武帝时,任散骑侍郎、中书侍郎,领吴兴邑中正,侍诏文德殿。坐事免职。
梁天监三年,出任永嘉太守,在任4年。提倡农桑,重视教化,崇尚俭约富民。虽然他的政绩史书记载较少,却是万历《温州府志》中南梁五十五年内入志的两位郡守之一。 任永嘉太守期间所作《永嘉郡教》一文中说“贵郡控带山海,利兼水陆。实东南之沃壤,一都之巨会。”
梁天监四年(505年),临川王萧宏伐魏,丘迟为谘议参军兼记室,时陈伯之率军抗梁,丘迟以一篇《与陈伯之书》打动陈伯之率部归降,其中“暮春三月,江南草长,杂花生树,群莺乱飞······”描写温州等江南景色,脍炙人口。
回朝后升中书郎、司空从事中郎(一作司徒从事中郎)。
梁天监七年,卒于任所,年仅44岁。