第一层
　　第一层为首四句：写诗人欲游江北探寻新异胜境的急切心情。谢灵运于头年因受排挤而出任永嘉太守，“既不得志，遂肆意游遨，遍历诸县，动逾旬朔。”(《宋书》本传)区区永嘉诸景，不到一年便已“历览”，遂觉江南已无新奇之地，令人厌倦。而永嘉江北岸的奇山异水，诗人一年前赴任时只是匆匆路过，不遑周游(周旋)，旷废既久，自不免向往，因而产生了“怀新”、“寻异”即怀着探寻新奇胜景的急切之情。唯其急切，故反觉道路迥远，时间易逝难延。

第二层
　　第二层为五至八句：由发现孤屿的惊喜到对其美景的描绘。“乱流”句脱胎于《尔雅·释水》：“水正绝流曰乱。”郝懿行《尔雅义疏》云：“绝，犹截也。截流横渡不顺曰乱。”“趋”，疾行貌。“媚”，妍美悦人。这二句谓，因为突然发现了江中孤屿，诗人便截流横渡十分迅疾，那孤岛巍然耸立江中，是多么妍美悦人。一个“趋”字，传神地写出登屿探胜的急切心情，回应前文；一个“媚”字，又活画出孤屿的妍美魅力和诗人的喜悦之情。“云日”二句即是对“媚”字的具体描绘：白色的云朵沐浴在金色的阳光之下，交相辉映，何等明媚秀丽；湛蓝的天空倒映在碧绿的江水之中，水天一色，多么澄澈鲜明！这四句可谓“以丽情密藻，发其胸中奇秀，有骨、有韵、有色。”(钟惺《古诗归》)前二句写得巉削危竦，后二句写得壮阔奇丽。钟嵘所谓“名章迥句，处处间起，丽典新声，络绎奔会。”(《诗品》上)殆指此类。这等胜境的突然发现，较第一层“江南倦历览”的心情，大有山穷水尽、柳暗花明的突转妙趣。于是诗笔自然转到第三层的感叹议论上。

第三层
　　最后六句通过感叹联想寄托了诗人怀才不遇和厌世嫉俗的孤愤。“表灵”，显现天地的灵秀之气；“物”，这里指世人。“蕴真”，即蕴藏自然意趣(一说指真人、神仙)。“缅邈”，悠远；“区中缘”，即人世间的尘缘。“安期术”，指传说中神仙安期生的长生道术。养生，即长生。诗人首先喟叹：此等山水皆为表现天地的灵秀神异之气，然而世人却不知欣赏它的价值。接着，诗人又驰骋飘逸的想像，由江屿的灵秀联想到那昆仑山的仙灵，顿觉自己离世间尘缘之事是那样遥远，仿佛遗世独立一般。最后议论：诗人终于相信了，领悟了安期生的长生之道，从此可以安心养生、以终天年了。诗人在这一段中，触景生情而又缘情造境，神思逸荡，理趣横生，故虽是议论，却仍然意象飞动，而不觉其枯燥，可以说是情、景、理三者妙合无痕了。