太子所生母黄贵嫔早亡，令潘妃母养之。拜潘氏为贵妃，乘卧舆，帝骑马从后，著织成袴褶，金薄帽，执七宝缚槊。又有金银校具，锦绣诸帽数十种，各有名字。戎服急装缚袴，上著绛衫，以为常服，不变寒暑。陵冒雨雪，不避坑井。驰骋渴乏，辄下马解取腰边蠡器，酌水饮之，复上驰去。马乘具用锦绣处，患为雨所湿，织杂采珠为覆蒙，备诸雕巧。教黄门五六十人为骑客，又选营署无赖小人善走者为逐马鹰犬。左右数百人，常以自随，奔走往来，略不暇息。置射雉场二百九十六处，翳中帷帐及步障，皆袷以绿红锦，金银镂弩牙，玳瑁帖箭。每出，辄与鹰犬队主徐令孙、媒翳队主俞灵韵齐马而走，左右争逐之。又甚有筋力，牵弓至三斛五斗。能担幢，初学担幢，每倾倒，在幢杪者，必致踠伤。其后，白虎幢七丈五尺，齿上担之，折齿不倦。担幢诸校具服饰，皆自制之，缀以金华玉镜众宝。舍人、主书及至左右主帅，并皆侍侧，逞诸变态，曾无愧颜。始欲骑马，未习其事，俞灵韵为作木马，人在其中，行动进退，随意所适，其后遂为善骑。
陈显达卒，渐出游走。不欲令人见之，驱斥百姓，唯置空宅而已。是时率一月二十余出，既住无定处，尉司常虑得罪，东行驱西，南行驱北，应旦出，夜便驱逐，吏司奔驱，叫呼盈路。打鼓踢围，鼓声所闻，便应奔走，临时驱迫，衣不暇披，乃至徒跣走出，犯禁者应手格杀。百姓无复作业。终日路隅，从万春门由东宫以东至郊外，数十里皆空家尽室。巷陌县幔为高障，置人防守，谓之"屏除"。高障之内，设部伍羽仪，复有数部，皆奏鼓吹羌胡伎，鼓角横吹。夜反火光照天。每三四更中，鼓声四出，幡戟横路，百姓喧走，士庶莫辨。或于市肆左侧过亲幸家，环绕宛转，周遍都下，老小震惊，啼号塞道，处处禁断，不知所过。疾患困笃者，悉扛移之。无人扛者，扶匐道侧，吏司又加捶打，绝命者相系。从骑及左右因之入富家，取物无不荡尽。工商莫不废业，樵苏由之路断。至于乳妇昏姻之家，移产寄室，或舆病弃尸，不得殡葬。有弃病人于青溪边者，吏惧为监司所问，推置水中，泥覆其面，须臾便死，遂失骸骨。前魏兴太守王敬宾新死未敛，家人被驱，不得留视。及家人还，鼠食两眼都尽。如此非一。又尝至沈公城，有一妇人当产不去，帝入其家，问："何独在？"答曰："临产不得去。"因剖腹看男女。又长秋卿王儇病笃，不听停家，死于路边。丹阳尹王志被驱急，狼狈步走，惟将二门生自随，藏朱雀航南酒垆中，夜方得羽仪而归。喜游猎，不避危险。至蒋山定林寺，一沙门病不能去，藏于草间，为军人所得，应时杀之。左右韩晖光曰："老道人可念。"帝曰："汝见獐鹿亦不射邪？"仍百箭俱发。故贵人富室者，皆数处立宅，以为避围之舍。每还宫，常至三更，百姓然后得反。禁断又不即通，处处屯咽，或泥涂灌注，或冰冻严结，老幼啼号，不可闻见。时人以其所围处号为"长围"。及建康城见围，亦名长围，识者以为谶焉。
三年，殿内火。合夕便发，其时帝犹未还，宫内诸房阁已闭，内人不得出，外人又不敢辄开，比及开，死者相枕。领军将军王莹率众救火，太极殿得全。内外叫唤，声动天地。帝三更中方还，先至东宫，虑有乱，不敢便入，参觇审无异，乃归。其后出游，火又烧璇仪、曜灵等十余殿及柏寝，北至华林，西至秘阁，三千余间皆尽。左右赵鬼能读《西京赋》，云"柏梁既灾，建章是营"。于是大起诸殿，芳乐、芳德、仙华、大兴、含德、清曜、安寿等殿，又别为潘妃起神仙、永寿、玉寿三殿，皆币饰以金璧。其玉寿中作飞仙帐，四面绣绮，窗间尽画神仙。又作七贤，皆以美女侍侧。凿金银为书字，灵兽、神禽、风云、华炬，为之玩饰。椽桷之端，悉垂铃佩。江左旧物，有古玉律数枚，悉裁以钿笛。庄严寺有玉九子铃，外国寺佛面有光相，禅灵寺塔诸宝珥，皆剥取以施潘妃殿饰。性急暴，所作便欲速成，造殿未施梁桷，便于地画之。唯须宏丽，不知精密。酷不别画，但取绚曜而已，故诸匠赖此得不用情。又凿金为莲华以帖地，令潘妃行其上，曰："此步步生莲华也。"涂壁皆以麝香，锦幔珠帘，穷极绮丽。絷役工匠，自夜达晓，犹不副速，乃剔取诸寺佛刹殿藻井、仙人、骑兽以充足之。武帝兴光楼上施青漆，世人谓之"青楼"，帝曰："武帝不巧，何不纯用琉璃。"潘氏服御，极选珍宝，主衣库旧物，不复周用，贵市人间金银宝物，价皆数倍。虎珀钏一只，直百七十万。都下酒租，皆折输金，以供杂用。犹不能足，下扬、南徐二州桥桁塘埭丁计功为直，敛取见钱，供太乐主衣杂费。由是所在塘渎，悉皆隳废。又订出雄雉头、鹤氅、白鹭縗，百品千条，无复穷已。亲幸小人，因缘为奸，科一输十。又各就州县求为人输，准取见直，不为输送。守宰惧威，口不得道，须物之处，以复重求。如此相仍，前后不息，百姓困尽，号泣道路。少府太官，凡诸市买，事皆急速，催求相系。吏司奔驰，遇便虏夺，市廛离散，商旅靡依。