宋景平元年（公元423年）秋天，谢灵运托病辞去永嘉（治所在今浙江温州）太守职务，回到故乡会稽始宁（今浙江上虞）的庄园里。这里曾是他族曾祖谢安高卧之地，又是他祖父谢玄最初经营的庄园，规模宏大，包括南北二山，祖宅在南山。谢灵运辞官回家后，又在北山别营居宅。石壁精舍就是他在北山营立的一处书斋。精舍，即儒者授生徒之处，后人亦称佛舍为精舍。湖，指巫湖，在南北二山之间，是两山往返的唯一水道。此诗当作于元嘉元年至三年（公元424-426年）之间。