徐彦若是咸通十二年（872年）进士，累迁至尚书郎、知制诰，拜中书舍人。文德元年（888年），唐昭宗继位，任命徐彦若为御史中丞，后又改任吏部侍郎。
初任宰辅
大顺二年（891年），宰相张浚因讨伐太原兵败，被罢去相位。徐彦若改任户部侍郎、同中书门下平章事，成为宰相，后又升任中书侍郎，兼任兵部尚书。
景福二年（893年），唐昭宗改任凤翔节度使李茂贞为山南西道节度使兼武定节度使，任命徐彦若为凤翔节度使。李茂贞不肯奉诏，联合邠宁节度使王行瑜，击败护送徐彦若就任的三万禁军，兵逼长安。唐昭宗只得任命李茂贞为凤翔节度使兼山南西道节度使，并召回徐彦若，改任为御史大夫。
再登相位
乾宁元年（894年），徐彦若再次拜相，担任中书侍郎兼吏部尚书、同平章事，后又升任尚书左仆射，并监修国史。
乾宁二年（895年），李茂贞与王行瑜再次兵逼长安，唐昭宗与宰相崔昭纬、徐彦若、王抟逃往石门镇。十二月，唐昭宗返回长安。徐彦若进位开府仪同三司、司空，进封齐国公，并加弘文馆大学士，获赐“扶危匡国致理功臣”勋号。
乾宁三年（896年），唐昭宗在李茂贞的逼迫下，再次离京出逃，前往华州，并任命徐彦若为大明宫留守，兼京畿安抚制置使。唐昭宗回京后，徐彦若进位太保，兼任门下侍郎。
出镇岭南
光化三年（900年），宰相崔胤专权，对官位在自己之上的徐彦若非常憎恶。徐彦若便请求引退，欲接替薛王李知柔出镇广州。朝廷遂任命徐彦若为清海军节度使，并保留同平章事的职务。
天复元年十二月（902年1月），徐彦若在广州病逝，并推荐行军司马刘隐为清海军留后。
