一开始上了一座山，山下有河，过了河经过了连绵不断的十几个庄园，景色渐渐变了，和人间大不相同。然后又下了一座山，在山下的河北岸下有一座大红门的府宅，宅中楼阁林立，花木繁茂，彩云缭绕，有很多凤凰、仙鹤和孔雀在楼阁间飞翔，从里面传出动听的歌声和音乐。昆仑奴指着府宅说：“这就是张家庄园。”韦义方又惊又怕，不知道是怎么回事。
不一会儿来到府宅门前，门上有个穿紫袍的官只领着韦义方进了一个大厅。大厅里陈设十分华丽，韦义方从来没见过，阵阵特殊的香味飘满了山谷。忽然听到女子走路时珠珮摇动的声音，两个穿青衣的女子走来说：“大少爷到了！”接着又有十几个穿青衣的美貌女子一对对地走出来，好像在引导什么贵人。然后就看见一个人戴着远游冠，穿着大红官袍，脚穿红靴子，慢慢走出门来。一个青衣女子领着韦义方上前拜见。韦义方见这人容貌十分英俊，仪表堂堂，再仔细一看，竟是张老。
张老对韦义方说：“人世间辛苦劳累，如在水火之中，没有一刻消闲，再加上总被忧愁烦恼所纠缠，就更没有太平的时候了。大哥你长期在人世客居，又有什么乐趣呢？你的妹妹正在梳头，马上就来拜见你。”张老让韦义方稍坐片刻。
不一会儿，一个青衣女子来报告说娘子已梳完头了，就把韦义方领到了后厅。韦义方见妹妹的屋子是以沉香木做房梁，用玳瑁做门，碧玉做窗，珍珠做帘，门前台阶也是又凉又滑的绿色石头铺成，不知道是什么东西。再看妹妹的服饰十分华贵，世上从未见过。韦义方见到妹妹后，互相问候了几句，又问问家里长辈的安康，觉得挺有隔膜。不一会儿摆上酒宴，美味佳肴精美芳香，好得没法形容。
饭后，请韦义方到内厅歇息。第二天天刚亮时，张老来看韦义方，和他共坐闲谈，忽然有一个侍女走来，附在张老耳边说了几句话。张老笑道：“我府里有客，怎么能晚回来呢？”转身对韦义方说：“我的妹妹想去蓬莱仙山游玩，你妹妹也该去，天不黑就会回来的。大哥你可以在这里休息。”张老向韦义方作了个揖，就走到里面去了。
片刻间五色彩云弥漫在庭院里，鸾凤飞翔，音乐阵阵，张老和妻子韦氏各自乘着一只凤，还有十几个骑仙鹤的随从，渐渐升空向东飞去，已经看不见了，还隐隐约约听到音乐声。韦义方在后厅住着，小侍女照顾得很周到。
等到傍晚时，听到远处有音乐声，转眼间张老和妻子已回到前厅，两人一同见过韦义方后说：“把你一个人留在府里，一定觉得寂寞吧？然而这里是神仙的府第，世间的俗人是不能来的。虽然大哥你命中该到这儿来一次，但也不能久留，明天你就该辞别了。”第二天，张老的妻子来和哥哥告别，再三请哥哥回家后替她问候父母。张老对韦义方说：“人世遥远，我也来不及写信了，请你捎回去二十镒（二十两为一镒）金子吧。”又给了韦义方一个旧草帽说：“大哥今后如果缺钱用，可以到扬州北城卖药的王老家府上去取一千万钱，这个旧草帽就是凭证。”于是双方告别，张老又让昆仑奴送出山来。
送到天坛后，昆仑奴挥手告别回去了。韦义方自己背着金子回到家后，家人十分惊讶，有的说张老是神仙，有的说他是妖魔，不知道究竟是怎么回事。
五六年后，带回的金子用光了，就打算到卖药的王老那儿去取钱，但又怀疑当初张老骗他，取那么多钱，连个字据都没有，一顶旧草帽怎么能作为凭据呢？后来家里太困难了，家里人就逼着韦义方去王老那儿试试，说就是取不来钱也没有损失什么。
韦义方就去了扬州，到了北城的馆舍，见王老正在街上卖药。韦义方上前说：“老人家贵姓？”回答说姓王。韦义方说：“张老让我来取一千万钱，他说把这个草帽给你就行。”王老说：“钱倒是有，不知帽子对不对头？”韦义方说：“您老人家可以验一验草帽，难道你还不认识它吗？”王老没说话。这时有一个少女掀开青布帘走出来说：“张老有一次到这里来，让我给他缝帽子，当时没有黑线，就用红线缝上了。线的颜色和缝的针脚，我都能认出来。”说完把草帽拿过来看，果然是张老的草帽，于是给了钱。
韦义方把钱用车拉回家，全家这才相信张老真是神仙。后来韦家人又想念女儿，打发韦义方又到天坛山南去找。韦义方到了以后，只见千山万水，再也找不到他走过的路。碰见打柴的人，韦义方打听，也不知道张老的庄园，韦义方心里又难受又思念，只好回来了。