第一次是在南宋度宗咸淳十年（1274年），蒙古铁骑先锋部队由大将伯颜率领，驻马湖州，虎视临安。为避战乱，21岁的赵孟頫，因为大母李氏乃德清人士，仓皇南逃之德清境内，几经周折，于当年冬天在德清县千秋乡东衡这个偏僻的乡村安顿下来，前后度过约11年的时光，一直到1286年春北上大都步入仕途生涯。
第二次发生在元贞元年(1295)，此时的赵孟頫已入仕元朝九年，官居从四品。因世祖去世，成宗需修《世祖实录》，赵孟頫乃被召回京城。可是元廷内部矛盾重重，赵孟頫借病乞归，于当年夏秋之交得准返回阔别十年的故里。这次呆了四年。两个时期相加，长达15年之久。
延佑五年(1318)，管夫人脚气病复发，经赵孟頫多次请求，次年四月，方得准送夫人南归。五月中旬，途经山东临清，管夫人病逝舟中。赵孟頫悲痛万分，相濡以沫的管夫人撒手西去，给了赵孟頫很大的打击，他对官场的虚名，也因此彻底看破。晚年由于丧偶，长途跋涉，操理丧事，赵孟頫的健康状况急剧下降。倾心于佛、道之旨，以书写经文为乐，并写下许多书画作品和题跋。他认为“人谁无死，如空华然”，因而在平淡中度过光阴。英宗至治二年(1322)六月，他逝于吴兴。临死前还观书作字，谈笑如常。享年六十九岁。
