迁司徒左长史，出为豫章太守，征为吏部尚书。廓因北地傅隆问亮："选事若悉以见付，不论；不然，不能拜也。"亮以语录尚书徐羡之，羡之曰："黄门郎以下，悉以委蔡，吾徒不复厝怀；自此以上，故宜共参同异。"廓曰："我不能为徐干木署纸尾也。"遂不拜。干木，羡之小字也。选案黄纸，录尚书与吏部尚书连名，故廓云："署纸尾"也。羡之亦以廓正直，不欲使居权要。徙为祠部尚书。
太祖入奉大统，尚书令傅亮率百僚奉迎，廓亦俱行。至寻阳，遇疾，不堪前。亮将进路，诣廓别，廓谓曰："营阳在吴，宜厚加供奉。营阳不幸，卿诸人有弑主之名，欲立于世，将可得邪！"亮已与羡之议害少帝，乃驰信止之，信至，已不及。羡之大怒曰："与人共计议，云何裁转背，便卖恶于人。"及太祖即位，谢晦将之荆州，与廓别，屏人问曰："吾其免乎？"廓曰："卿受先帝顾命，任以社稷，废昏立明，义无不可。但杀人二昆，而以之北面，挟震主之威，据上流之重，以古推今，自免为难也。"
廓年位并轻，而为时流所推重，每至岁时，皆束带到门。奉兄轨如父，家事小大，皆咨而后行；公禄赏赐，一皆入轨，有所资须，悉就典者请焉。从高祖在彭城，妻郗氏书求夏服，廓答书曰："知须夏服，计给事自应相供，无容别寄。"时轨为给事中。元嘉二年，廓卒，时年四十七。高祖尝云："羊徽、蔡廓，可平世三公。"少子兴宗。
兴宗年十岁失父，哀毁有异凡童。廓罢豫章郡还，起二宅。先成东宅，与轨；廓亡而馆宇未立，轨罢长沙郡还，送钱五十万以补宅直。兴宗年十岁，白母曰："一家由来丰俭必共，今日宅价不宜受也。"母悦而从焉。轨有愧色，谓其子淡曰："我年六十，行事不及十岁小儿。"寻丧母。
少好学，以业尚素立见称。初为彭城王义康司徒行参军，太子舍人，南平穆王冠军参军，武昌太守。又为太子洗马，义阳王友，中书侍郎。中书令建平王宏、侍中王僧绰并与兴宗厚善。元凶弑立，僧绰被诛，凶威方盛，亲故莫敢往，兴宗独临哭尽哀。出为司空何尚之长史。又迁太子中庶子。
世祖践阼，还先职，迁临海太守，征为黄门郎，太子中庶子，转游击将军，俄迁尚书吏部郎。时尚书何偃疾患，上谓兴宗曰："卿详练清浊，今以选事相付，便可开门当之，无所让也。"转司徒左长史，复为中庶子，领前军将军，迁侍中。每正言得失，无所顾惮，由是失旨。竟陵王诞据广陵城为逆，事平，兴宗奉旨慰劳。州别驾范义与兴宗素善，在城内同诛。兴宗至广陵，躬自收殡，致丧还豫章旧墓。上闻之，甚不悦。庐陵内史周朗以正言得罪，锁付宁州，亲戚故人，无敢瞻送；兴宗在直，请急，诣朗别。上知尤怒。坐属疾多日，白衣领职。寻左迁司空沈庆之长史，行兖州事，还为廷尉卿。
有解士先者，告申坦昔与丞相义宣同谋。时坦已死，子令孙时作山阳郡。自系廷尉。兴宗议曰："若坦昔为戎首，身今尚存，累经肆眚，犹应蒙宥。令孙天属，理相为隐。况人亡事远，追相诬讦，断以礼律，义不合关。若士先审知逆谋，当时即应闻启，苞藏积年，发因私怨，况称风声路传，实无定主，而千黩欺罔，罪合极法。"又釉讼民严道恩等二十二人，事未洗正，敕以当讯，权系尚方。兴宗以讼民本在求理，故不加械，即若系尚方，于事为苦。又司徒前劾送武康令谢沈及郡县尉还职司十一人，坐仲良铸钱不禽，久已判结。又送郡主簿丘元敬等九人，或下疾假，或去职已久。又加执启，事悉见从。
出为东阳太守，迁安陆王子绥后军长史、江夏内史，行郢州事。征还，未拜，留为左民尚书。顷之，转掌吏部。时上方盛淫宴，虐侮群臣，自江夏王义恭以下，咸加秽辱，唯兴宗以方直见惮，不被侵媟。尚书仆射颜师伯谓议曹郎王耽之曰："蔡尚书常免昵戏，去人实远。"耽之曰："蔡豫章昔在相府，亦以方严不狎，武帝宴私之日，未尝相召，每至官赌，常在胜朋。蔡尚书今日可谓能负荷矣。"
大明末，前废帝即位，兴宗告太宰江夏王义恭，应须策文。义恭曰："建立储副，本为今日，复安用此。"兴宗曰："累朝故事，莫不皆然。近永初之末，营阳王即位，亦有文策，今在尚书，可检视也。"不从。兴宗时亲奉玺绶，嗣主容色自若，了无哀貌。兴宗出谓亲故曰："鲁昭在戚而有嘉容，终之以衅结大臣，昭子请死。国家之祸，其在此乎。"时义恭录尚书事，受遗辅政，阿衡幼主，而引身避事，政归近习。越骑校尉戴法兴、中书舍人巢尚之专制朝权，威行近远。兴宗职管九流，铨衡所寄，每至上朝，辄与令录以下，陈欲登贤进士之意，又箴规得失，博论朝政。义恭素性恇桡，阿顺法兴，常虑失旨，闻兴宗言，辄战惧无计。先是大明世，奢侈无度，多所造立，赋调烦严，徽役过苦。至是发诏，悉皆削除，由此紫极殿南北驰道之属，皆被毁坏。自孝建以来至大明末，凡诸制度，无或存者。兴宗于都坐慨然谓颜师伯曰："先帝虽非盛德主，要以道始终。三年无改，古典所贵。今殡宫始彻，山陵未远，而凡诸制度兴造，不论是非，一皆刊削。虽复禅代，亦不至尔。天下有识，当以此窥人。"师伯不能用。