第二首词以“江南忆，最忆是杭州”领起，前三字“江南忆”和第一首词的最后三字“忆江南”勾连，形成词意的连续性。后五字“最忆是杭州”又突出了作者最喜爱的一个江南城市。如果说第一首词像画家从鸟瞰的角度大笔挥洒而成的江南春意图，那么，第二首词便像一幅杭州之秋的画作了。
作者很爱西湖的春天，他在词里偏偏不写杭州之春，这可能是为了避免和第一首词所写的春景重复。他写杭州之秋，一写灵隐寺赏月赏桂，一写高亭之上观钱塘江潮。两句词就写出两种境界。“山寺月中寻桂子”的“山寺”，指的是西湖西边的灵隐寺。这座古刹有许多传说，有的还蒙上一层神话色彩：传说灵隐寺的桂花树是从月宫中掉下来的。作者曾在寺中赏月，中秋节桂花飘香，那境界使他终身难忘。山、寺、月影下，寻桂子，写出了幽美的环境，也写了置身其间的词人的活动。然而，词人回忆杭州还有另一种境界使人难忘。那就是“郡亭枕上看潮头”，钱塘江潮是大自然的奇观，潮头可高达数丈，所以白居易写他躺在他郡衙的亭子里，就能看见那卷云拥雪的潮头了，显得趣意盎然。“郡亭枕上看潮头”，以幽闲的笔墨带出惊涛骇浪的景色，与上句“山寺月中寻桂子”的静谧而朦胧的美的境界形成鲜明的对照，相辅相成，相得益彰。白居易是热爱杭州的，所以他在回到北方以后，又产生了“何日更重游”的愿望。