时议省录尚书，怀文以为非宜，上议曰："昔天官正纪，六典序职，载师掌均，七府成务，所以翼平辰衡，经赞邦极。故总属之原，著夫官典，和统之要，昭于国言。夏因虞礼，有深冢司之则；周承殷法，无损掌邦之仪。用乃调佐王均，缉亮帝度。而式宪之轨，弘正汉庭；述章之范，崇明魏室。虽条录之名，立称于中代，总厘之实，不愆于自古，比代相沿，历朝罔贰。及乎爵以事变，级以时改，皆兴替之道，无害国章，八统元任，靡或省革。按台辅之职，三曰礼典，以和邦国，以统百官。四曰政典，以平邦国，以正百官。郑康成云'冢宰之于庶僚，无所不总也。'考于兹义，备于典文，详古准今，不宜虚废。"不从。迁别驾从事史，江夏王义恭迁，西阳王子尚为扬州，居职如故。
时荧惑守南斗，上乃废西州旧馆，使子尚移居东城以厌之。怀文曰："天道示变，宜应之以德。今虽空西州，恐无益也。"不从，而西州竟废矣。大明二年，迁尚书吏部郎。时朝议欲依古制置王畿，扬州移治会稽，犹以星变故也。怀文曰："周制封畿，汉置司隶，各因时宜，非存相反，安民宁国，其揆一也。苟民心所安，天亦从之，未必改今追古，乃致平壹。神州旧壤，历代相承，异于边州，或罢或置，既物情不说，容亏化本。"又不从。三年，子尚移镇会稽，迁抚军长史，行府州事。时囚系甚多，动经年月，怀文到任，讯五郡九百三十六狱，众咸称平。
入为侍中，宠待隆密，将以为会稽，其事不行。竟陵王诞据广陵反，及城陷，士庶皆裸身鞭面，然后加刑，聚所杀人首于石头南岸，谓之髑髅山。怀文陈其不可，上不纳。扬州移会稽，上忿浙江东人情不和，欲贬其劳禄，唯西州旧人不改。怀文曰："扬州徒治，既乖民情，一州两格，尤失大体。臣谓不宜有异。"上又不从。
怀文与颜竣、周朗素善，竣以失旨见诛，朗亦以忤意得罪，上谓怀文曰："竣若知我杀之，亦当不敢如此。"怀文默然。尝以岁夕与谢庄、王景文、颜师伯被敕入省，未及进，景文因言次称竣、朗人才之美，怀文与相酬和，师伯后因语次白上，叙景文等此言。怀文屡经犯忤，至此上倍不说。上又坏诸郡士族，以充将吏，并不服役，至悉逃亡，加以严制不能禁。乃改用军法，得便斩之，莫不奔窜山湖，聚为盗贼。怀文又以为言。斋库上绢，年调钜万匹，绵亦称此。期限严峻，民间买绢一匹，至二三千，绵一两亦三四百，贫者卖妻儿，甚者或自缢死。怀文具陈民困，由是绵绢薄有所减，俄复旧。子尚诸皇子皆置邸舍，逐什一之利，为患遍天下。怀文又言之曰："列肆贩卖，古人所非，故卜式明不雨之由，弘羊受致旱之责。若以用度不充，顿止为难者，故宜量加减省。"不听。
孝建以来，抑黜诸弟，广陵平后，复欲更峻其科。怀文曰："汉明不使其子比光武之子，前史以为美谈。陛下既明管、蔡之诛，愿崇唐、卫之寄。"及海陵王休茂诛，欲遂前议，太宰江夏王义恭探得密旨，先发议端，怀文固谓不可，由是得息。
时游幸无度，太后及六宫常乘副车在后，怀文与王景文每陈不宜亟出。后同从坐松树下，风雨甚骤。景文曰："卿可以言矣。"怀文曰："独言无系，宜相与陈之。"江智渊卧草侧，亦谓言之为善。俄而被召俱入雉场，怀文曰："风雨如此，非圣躬所宜冒。"景文又曰："怀文所启宜从。"智渊未及有言，上方注弩，作色曰："卿欲效颜竣邪？何以恒知人事。"又曰："颜竣小子，恨不得鞭其面！"上每宴集，在坐者咸令沈醉，怀文素不饮酒，又不好戏调，上谓故欲异己。谢庄尝诫怀文曰："卿每与人异，亦何可久。"怀文曰："吾少来如此，岂可一朝而变。非欲异物，性所得耳。"
五年，乃出为晋安王子勋征虏长史、广陵太守。明年，坐朝正，事毕，被遣还北，以女病求申。临辞，又乞停三日，讫犹不去。为有司所纠，免官，禁锢十年，既被免，买宅欲还东。上大怒，收付廷尉，赐死，时年五十四。三子：淡、渊、冲。
弟怀远，为始兴王浚征北长流参军，深见亲待。坐纳王鹦鹉为妾，世祖徙之广州，使广州刺史宗悫于南杀之。会南郡王义宣反，怀远颇闲文笔，悫起义，使造檄书，并衔命至始兴，与始兴相沈法系论起义事。事平，悫具为陈请，由此见原；终世祖世不得还。怀文虽亲要，屡请终不许。前废帝世，流徙者并听归本，官至武康令。撰《南越志》及怀文文集，并传于世。