辛弃疾在经过了公元1195年（南宋庆元元年）落职之后，次年，“所居毁于火”，是年秋又罢宫观，按“宋制，设祠禄之官，以佚老优贤……使任宫观，以食其禄。”罢宫观，就是断了他的烟火。以前的积蓄被一场大火烧光了，以后的生活又没有了来源，他此时可以说是到了山穷水尽的地步。以至他遣散了歌舞侍姬，最后甚至连夫人病了，没有钱看病，只好把她身边的最后的一个贴身侍女也送给医生，拿来抵了医药费。后来虽然在偃湖又做了一间小茅屋。正如他自己说的“吾庐小，在龙蛇影外，风雨声中。”小小的茅屋，连挡荫的树都没有一棵，因为它太小太单薄，下起雨来，就似乎全为雨声所包裹了。这和他当年在带湖筑的有栋百楹，“青山屋上，古木千章，白水田头，新荷十顷”比起来，实在是相差得太远了。而且小小茅屋，更是“家徒四壁”，从他的“借车载家具，家具少于车”就可见。

他的生活来源断了，自己不得不去钓鱼。他却写得非常的有情有趣。“行李溪头，有钓车茶具，曲几蒲团。”他钓鱼仍不失身份，带着搁鱼竿的架子，倚肘的曲几，还有茶具。可是孩子们却不管这些，“儿童认得：前度过者篮舆。”一旦发现了这个钓鱼的老头，惊呼道：“嗨，快来看也，这钓鱼的老头，不就是前些时坐在轿子里的那个老爷！”多么有情趣，又是多么大的变化啊！至于大人们就不同。正如他在《玉蝴蝶·杜仲高书来戒酒用韵》里说的“空使儿曹，马上羞面频遮。”一路上碰到不少旧部下，害得骑在马上的他们，看到在道上步行的他如此穷相，反倒不好意思地把脸遮起，装着没有看见他的样子。

这样的日子过了三四年之久，直到公元1198年（南宋庆元四年），他又拜集英殿修撰，主管建宁府武夷山冲佑观为止。这阕词就写于他听到拜职奉祠的消息之时。