赵葵之父赵方在宋宁宗时任荆湖制置使，有一次朝廷犒赏军士，赏赐太少，引起军士不满，当时赵葵才十二、三岁，察觉军士不满的情绪，突然大声叫道：“这是朝廷的赏赐，本制置司（赵方）另有奖赏。”赵葵的一句话立刻稳定人心，化解了将士的不满，人们都佩服他的机警灵敏。

诗文趣事

　　赵葵曾在水亭避暑，作诗说：“水亭四面朱栏绕，簇簇游鱼戏萍藻。六龙畏热不敢行，海水煎彻蓬莱岛。身眠七尺白虾须，头枕一枝红玛瑙。”诗还没作成，赵葵就睡着了。他的侍女续写道：“公子犹嫌扇力微，行人尚在红尘道。”

　　赵葵同知枢密院时，一次上朝结束后回到家中，却没见到众妾室。赵葵前往寻找，原来是群聚一起在摘青梅。其中一位妾擅长赋诗，赵葵让她作诗一首，其中说道：“柝声默报早朝回，满院春风绣户开。怪得无人理丝竹，绿阴深处摘青梅。”

圈豢四虎

　　赵葵在溧阳的私宅中，曾经做了一个圈，养了四只老虎。一天，家中火药库烘焙火药时着火，所有炮迅速爆炸，致使地面震动、房屋倒塌，四只老虎全都毙命。

难免众讥

　　赵葵年轻时便有经邦济国的才能，耻于通过科举入仕。他因战功卓著而被任命为右相时，给事中徐清臾驳还诏命，说宰相不是用来赏功的官职，并援引“宰相应当要用读书人”的话作为借口。赵葵因而极力请求辞官回乡。等到获准辞官后，在谢表中说：“虽然霍光不学无术，本来就难免被众人讥讽；但是皋陶所读的是什么书，敢用这来自我辩解。”“皋、夔、稷、契所读的是什么书”这句话，是赵葵的曾祖赵抃在回答王安石时说的话。

　　赵葵辞官后，曾在墙壁上作《南乡子》道：“束发领西藩，百万雄兵掌握间。召到庙堂无一事，遭弹！昨日公卿今日闲，拂晓出长安。莫待西风割面寒。羞见钱塘江上柳，何颜。瘦仆牵驴过远山。”

　　赵葵回乡在地方任职时，以诚相待、爱护百姓。一天得闲时经过岳麓精舍，舍长刘某年纪比赵葵稍大一些，在准备落座时，揖礼道：“请相公（对宰相尊称）主持宴会！”赵葵摇手说道：“这里说什么相公？”最后回到宾位，取酒尽欢后离开。

民间传说

　　在南岳衡山的民间传说中，赵葵是南岳圣帝身边的护法神忠靖王转世，因此殁后配享南岳庙。

识人之明

　　南宋名将吕文德出身平民，但身材魁梧、勇猛强悍，他曾在安丰城中卖柴，赵葵时任淮东制置使，在路旁见到他丢下的鞋子“长尺有咫”，感到非常惊讶，便派人到他家寻访，正值吕文德出猎，到日暮后他背着打好的鹿回家，留下使者过夜，次日与使者一同去见赵葵，赵葵便将他留在麾下。此后数十年间，吕文德屡建边功，位至显宦。

　　余玠幼时家贫，在白鹿洞书院和太学上舍读书，因与茶馆老人发生口角，不慎失手推茶翁致死，脱身出逃襄淮，向赵葵献上长短句一首，投入其幕下。赵葵赞其心怀壮志，便把他收留在军中任事。后来，余玠官至四川安抚制置使，成为南宋四川的抗蒙名将。