吴端玉，直隶举人，家赀巨万。端玉一妻三妾，二子一女。有伯兄端履，亦二子，其一子士煌，与端玉同榜举人。端玉名下士，性豪爽不羁，与端履最友爱。工诗文辞。年三十，公车屡踬。
其兴致颇高，与人谈集，竟日夜不倦。短于髯，尝取优伶须一具挂面上，欣欣自得，欲效苏长公雄视一切也。时人慕之，以为吴子之雅量宏才也。复得安兹顺境，天之爱才，可谓不负矣。
而天下事，有顺必有逆。会岁疾疫行，端玉之妻妾子女，不旬日而死亡无孑遗。端玉素笃闺房之爱，更萦儿女之怀，一旦遭此惨痛，愤不欲生。尝欲引颈自决，不则投缳以尽，家人恐怖，百计防守。其兄哭泣相劝，而端玉终以死誓。兄复诸凡慰藉，开布大义，继而端玉曰：“弟岂不知死不如生？即弟之死，亦于已死之人无益于事，转与生者徒增悲悼。惟是柔肠寸断，实所难忍。”兄曰：“骨肉关情，弟死我不独生。”玉曰：“兄冢子也，以弟之故，俱死曷济？”于是兄弟痛楚，屡日悲泣。玉曰：“兄必不容弟死，当有一生法。”兄曰：“生法安在？”玉曰：“无已，请度为僧。”兄不得已许之，并以其子士煌嗣焉。
玉乃择日哭于祖祠，剃发剃披。吴故大族，一时亲党戚友，数百余里皆来唁慰。而玉豪气未除，虽经磨蝎，讵能一袭毘卢，顿改初度。因欲傲游海内名胜，多金盛装，宛如贵胄。翩翩舆马，连镳蔽道而行，号为“懊上人”。凡遇佳山妙境，盘桓弥月不去。
至五台遇喇吗某，颇相契。玉因其地苦寒，思南下。喇吗多贵交，为之致书浙抚，荐为西湖灵隐方丈。端玉儒者也，今弃儒而逃禅，不过为一时愤急之行。因是而遂欲置之空虚寂灭之乡，以戕其性、死其心，则玉又不愿也。故端玉必饮酒食荤，且衣锦而好色，其穷奢甚于王公。南方之人谄鬼佞佛，以玉不能守规戒，共诽之，乃去杭州。去之曰，贻书留别当道诸公云：“余数年甘心栏入水牯牛队，本不欲被绣为牺，亦不愿服耒于田。便做和尚，原不必担着枷，逢人苦乞。堪笑瞿昙，今日舍卫大城，明日室罗筏城，平白教坏法门也。终不见有天人送供，何殊癞狗作生天想？那个持一口钵，如捧十丈珊瑚，放手不得？比归来，臀也强，踝也酸，何苦何苦！兹者闻焦山可以结茅，我欲出京口去。前途舟大舟小，不能前定，再来西湖，不知何年月日。无一点由人打算，尽若斯耶。懊书。”
吴过苏阊买四僮，所谓清客者，悉令剃发作小沙弥。至焦山，大建浮屠，土木之工，三万有奇，皆其兄端履自家寄来也。又与其兄一札云：“大兄安好。弟今为释子，与诸方不同，原不类守昆尼博通经论者，异时修定修慧，且都搁起。近来卓锡焦山，揽海门洲岛之胜，令人举头天外。但住处狭隘，不可下榻。弟欲广布黄金，难得现成，算檀施无主，便当自舍。此亦一大好事，不求报于人，天作不朽功德，希冀将来缘法。大兄不可不一相扶持，携资来，为我度画得千稳百当，使大众一齐安乐。不则峰前独立，松下徘徊，或执疏沿门，虽走遍赵州，八十犹未能驻足也。兄以为何如？”端履得书，即来焦为之建置云。
而玉为诗亦复奇横，如：“水国白鱼恣口孽，空山黄叶打头陀。”又：“浮绿杯中千日酒，拂青槛外六朝山。”又：“听潮分子午，入定失朝昏。”又：“满山云是无心出，半夜钟因得意撞。”