其父曾任四会县学训导，张维屏从小接受家庭教育，少年时即以能诗名，13岁时名列番禺县童子试榜首，知县吴政达赞赏其才华，取《毛诗序》“南山有台，乐得贤也”之意赐名“南山”。张维屏于嘉庆九年(1804)中举后，首次进京赴考，诗坛大家翁方纲阅其诗作，惊呼“诗坛大敌至矣！”再度赴试时，翁方纲为他和黄培芳、谭敬昭等三位岭南诗人之诗集作《粤东三子诗序》，从此“粤东三子”的文名得到显扬。张维屏曾与林伯桐、黄乔松、谭敬昭、梁佩兰、黄培芳、孔继勋筑云泉山馆于白云山，人称“七子诗坛。”
道光二年(1822)，43岁的张维屏四度会试终成进士，署湖北黄梅知县。他勤政爱民，莅任第二年夏天，江水决堤，他亲自乘小舟勘察水情，散发干粮赈灾，竟被洪水冲走，幸挂树梢而不死。老百姓为之歌曰：“犯急湍，官救民，神救官。”道光四年（1824）调任广济知县，他不愿向百姓征收漕粮，引疾求退未成，调署襄樊同知。过三年，返粤丁父忧，次年迁家回清水濠故里。道光九年（1829），他被聘为学海堂学长。居家数年，致力于教育事业。道光十年（1830），张维屏丁忧服阕，同林则徐、黄爵滋、龚自珍等在北京结“宣南诗社”。后又出任了几年的地方官员，但他最终看透官场腐败，产生“一官无补苍生，不如归去”的念头，终在道光十六年（1836）五十七岁时告病辞归广州，赁居河南花地潘氏别业东园。他将所筑小园名为“听松园”，于松涛间悉心著述讲学、游园吟诗。道光十九年（1839）林则徐在广东禁烟时专门拜访，征求禁烟对策。鸦片战争爆发后，张维屏写下反对外敌侵略、赞颂人民抗战的不朽诗篇，其中《三元里》和《三将军歌》最为著名。咸丰九年（1859）九月十八日（10月13日）病逝于清水濠，葬于广州城东北银坑岭，临终留下时人争传之绝笔：
烟云过眼总成空，留得心精纸墨中。书未刻完人已逝，八旬回首惜匆匆。
偶堕尘寰八十年，飘然归去在罗天。松溪花棣常游处，或者诗魂系画船。
