吕颐浩先后二次罢相，第一次罢相时“徙家临海”，复职后力倾秦桧“专主和议、植党专权”，使秦桧罢相长达七年；第二次罢相后，取唐杜甫“穷老真无事，江山且定居”之意，选择临海巾子山东麓筑“退老堂”以居。他还曾在“溪径迂回，林峦秀艳”的景福寺消夏时，建石亭于寺旁。后人遂以命名，亭所处之山为“吕亭山”，亭边之村为“吕亭山村”。即今括苍镇上坪村。