兴宗每陈选事，法兴、尚之等辄点定回换，仅有在者。兴宗于朝堂谓义恭及师伯曰："主上谅暗，不亲万机，而选举密事，多被删改，复非公笔，亦不知是何天子意。"王景文、谢庄等迁授失序，兴宗又欲为美选。时薛安都为散骑常侍、征虏将军、太子左率，殷常为中庶子。兴宗先选安都为左卫将军，常侍如故；殷常为黄门，领校。太宰嫌安都为多，欲单为左卫，兴宗曰："率卫相去，唯阿之间。且已失征虏，非乃超越，复夺常侍，顿为降贬。若谓安都晚达微人，本宜裁抑，令名器不轻，宜有贯序。谨依选体，非私安都。"义恭曰："若宫官宜加超授者，殷常便应侍中，那得为黄门而已。"兴宗又曰："中庶、侍中，相去实远。且安都作率十年，殷恒中庶百日，今又领校，不为少也。"使选令史颜祎之、薛庆先等往复论执，义恭然后署案。
既中旨以安都为右卫，加给事中，由是大忤义恭及法兴等，出兴宗吴郡太守。固辞郡，执政愈怒，又转为新安王子鸾抚军司马、辅国将军、南东海太守，行南徐州事。又不拜，苦求益州。义恭于是大怒，上表曰："臣闻慎节言语，《大易》有规，铨序九流，无取裁囗。若乃结党连群，讥诉互起，街谈巷议，罔顾听闻，乃撤实宪制所宜禁经之巨蠹。侍中秘书监臣彧自表父疾，必求侍养，圣旨矜体，特顺所陈，改授臣府元僚，兼带军郡。虽臣驽劣，府任非轻，准之前人，不为屈后。京郡本以为禄，不计户之少多，遇缺便用，无关高下。抚军长史庄滞府累朝，每陈危苦，内职外守，称未堪依。唯王球昔比，赐以优养，恩慈之厚，不近于薄。前新除吴郡太守兴宗，前居选曹，多不平允，鸿渥含宥，恕其不闲，改任大都，宠均阿辅，仍苦请益州，雅违成命。伏寻扬州刺史子尚、吴兴太守休若，并国之茂戚，鲁、卫攸在，犹牧守东山，竭诚抚莅，而辞择适情，起自庶族，逮佐北藩，尤无欣荷。御史中丞永，昔岁余愆，从恩今授，光禄勋臣淹，虽曰代臣，累经降黜，后效未申，以何取进。司徒左长史孔觊，前除右卫，寻徙今职，回换之宜，不为乃少。窃外谈谓彧等咸为失分，又闻兴宗躬自怨怼，与尚书右仆射师伯疏，辞旨甚苦。臣虽不见，所闻不虚。臣以凡才，不应机务，谬自幸会，受任三朝，进无古人兴贤之美，退无在下献替之绩，致兹纷纭，伏增惭悚。然此源不塞，此风弗变，将亏正道，尘秽盛猷。伏顾圣德，赐垂览察。"诏曰："太宰表如此，省以怃然。朕恭承洪绪，思弘盛烈，而在朝倰竞，驱扇成风，将何以式扬先德，克隆至化。公体国情深，保厘攸托，便可付外详议。"
义恭因使尚书令柳元景奏曰："臣义恭表、诏书如右。摄曹辨核尚书袁愍孙牒：'此月十七日，诣仆射颜师伯，语次，因及尚书蔡兴宗有书固辞今授，仍出疏见示，乃者数纸，不意悉何所道，缘此因及朝士。当今圣世，不可使人以为少。今牒。'数之，朝廷处之实得所，臣等亦自谓得分，常多在门，袁愍孙无或措多，而愚意欲启更量出内之宜，刍荛管见，愿在闻彻。选令史宣传密事，故因附上闻，亦外人言此。今薛庆先列：'今月十八日，往尚书袁愍孙论选事。愍孙云，昨诣颜修射，出蔡尚书疏见示，言辞甚苦。又云所得亦少。主上践阼始尔，朝士有此人不多，物议谓应美用，乃更恨少，使咨事便启录公。又谢庄囗时未老，其疾以转差，今居此任，复为非宜，谓宜中书令才望为允。又孔觊南士之美，所历已多，近频授即复回改，于理为屈，门下无人，此是名选。又张永人地可论，其去岁愆戾，非为深罪，依其望复门下一人。张淹昔忝南下，预同休戚，虽屡经愆黜，事亦已久，谓应秘书监。'带授兴宗手迹数纸，文翰炳然，事证明白，不假核辨。愍孙任居官人，职掌铨裁，若有未允，则宜显言，而私加许与，自相选署，托云物论，终成虚诡，隐末出端，还为矛楯。臣闻九官成让，虞风垂则，诽主怨时，汉罪夙断。况义为身发，言谤朝序，乱辟害政，混秽大猷，纷纭彰谬，上延诏旨，不有霜准，轨宪斯沦。请解兴宗新附官，须事御，收付廷尉法狱治罪，免愍孙所居官。"诏曰："兴宗首乱朝典，允当明宪，以其昔经近侍，未忍尽法，可令思愆远封。愍孙窃评自己，委咎物议，可以子领职。"
除兴宗新昌太守，郡属交州。朝廷莫不嗟骇。先是，兴宗纳何后寺尼智妃为妾，姿貌甚美，有名京师，迎车已去，而师伯密遣人诱之，潜往载取，兴宗迎人不觉。及兴宗被徙，论者并云由师伯，师伯甚病之。法兴等既不欲以徙大臣为名，师伯又欲止息物议，由此停行。顷之，法兴见杀，尚之被系，义恭、师伯诛，复起兴宗为临海王子顼前军长史、辅国将军、南郡太守，行荆州事，不行。