六年春正月，苻坚遣将王鉴来援袁瑾，将军桓伊逆击，大破之。丁亥，桓温克寿阳，斩袁瑾。三月壬辰，监益宁二州诸军事、冠军将军、益州刺史、建城公周楚卒。夏四月戊午，大赦，赐穷独米，人五斛。苻坚将苻雅伐仇池，仇池公杨纂降之。六月，京都及丹阳、晋陵、吴郡、吴兴、临海并大水。秋八月，以前宁州刺史周仕孙为假节、监益梁二州诸军事、益州刺史。冬十月壬子，高密王俊薨。十一月癸卯，桓温自广陵屯于白石。丁未，诣阙，因图废立，诬帝在籓夙有痿疾，嬖人相龙、计好、硃灵宝等参侍内寝，而二美人田氏、孟氏生三男，长欲封树，时人惑之，温因讽太后以伊霍之举。己酉，集百官于朝堂，宣崇德太后令曰：“王室艰难，穆、哀短祚，国嗣不育储宫靡立。琅邪王奕亲则母弟，故以入纂大位。不图德之不建，乃至于斯。昏浊溃乱，动违礼度。有此三孽，莫知谁子。人伦道丧，丑声遐布。既不可以奉守社稷，敬承宗庙，且昏孽并大，便欲建树储籓。诬罔祖宗，颂移皇基，是而可忍，孰不可怀！今废奕为东海王，以王还第，供卫之仪，皆如汉朝昌邑故事。但未亡人不幸，罹此百忧，感念存没，心焉如割。社稷大计，义不获已。临纸悲塞，如何可言。”于是百官入太极前殿，即日桓温使散骑侍郎刘享收帝玺绶。帝着白帢单衣，步下西堂，乘犊车出神兽门。群臣拜辞，莫不觑欷。侍御史、殿中监将兵百人卫送东海第。
初，桓温有不臣之心，欲先立功河朔，以收时望。及枋头之败，威名顿挫，逐潜谋废立，以长威权。然惮帝守道，恐招时议。以宫阐重闷，床笫易诬，乃言帝为阉，遂行废辱。初，帝平生每以为虑，尝召术人扈谦筮之，卦成，答曰：“晋室有盘石之固，陛下有出宫之象。”竟如其言。
咸安二年正月，降封帝为海西县公。四月，徙居吴县，敕吴国内史刁彝防卫，又遣御史顾允监察之。十一月，妖贼卢悚遣弟子殿中监许龙晨到其门，称太后密诏，奉迎兴复。帝初欲从之，纳保母谏而止。龙曰：“大事将捷，焉用儿女子言乎？”帝曰：“我得罪于此，幸蒙宽宥，岂敢妄动哉！且太后有诏，便应官属来，何独使汝也？汝必为乱。”因叱左右缚之，龙惧而走。帝知天命不可再，深虑横祸，乃杜塞聪明，无思无虑，终日酣畅，耽于内宠，有子不育，庶保天年。时人怜之，为作歌焉。朝廷以帝安于屈辱，不复为虞。太元十一年十月甲申，薨于吴，时年四十五。
史臣曰：孝宗因繦抱之姿，用母氏之化，中外无事，十有余年。以武安之才，启之疆埸；以文王之风，被乎江汉，则孔子所谓吾无间然矣。哀皇宽惠，可以为君，而鸿祀禳天，用尘其德。东海违许龙之驾，屈放命之臣，所谓柔弱胜刚强，得尽于天年者也。
赞曰：委裘称化，大孝为宗，遵彼圣善，成兹允恭。西旌玉垒，北旆金墉。迁殷旧僰，莫不来从。哀后宽仁，惟灵既集。海西多故，时灾见及。彼异阿衡，我非昌邑。