武帝即位，为五兵尚书，领骁骑将军。初，豫章王有盛宠，武帝在东宫，崇祖不自附。及破魏军，诏使还朝，与共密议，武帝疑之，曲加礼待。酒后谓曰："世间流言，我已豁怀抱，自今已后，富贵见付也。"崇祖拜谢。及去后，高帝复遣荀伯玉敕以边事，受旨夜发，不得辞东宫，武帝以为不尽诚心，衔之。永明元年，诏称其与荀伯玉构扇边荒，诛之。故人无敢至者，独有前豫州主簿夏侯恭叔出家财为殡，时人以比栾布。恭叔，谯国人，崇祖为豫州，闻其才义，辟为主簿，兼掌书翰。高帝即位，方镇皆有贺表，王俭见崇祖启，咨嗟良久，曰："此恭叔辞也。"时宋氏封爵，随军迁改，恭叔以柳元景中兴元勋，刘勔殒身王事，不宜见废，上表论之，甚有义理。事虽不从，优诏见答。后为竟陵令，惠化大行。木连理上有光如烛，咸以善政所致。
荣祖，字华先，崇祖从父兄也。父谅之，宋北中郎府参军。荣祖少学骑射，或曰："何不学书？"荣祖曰："曹操、曹丕，上马横槊，下马谈论，此可不负饮食矣。君辈无自全之伎，何异犬羊乎？"宋孝建中，为后军参军，伯父豫州刺史护之子袭祖为淮阳太守，孝武以事徙之岭南，护之不食而死。帝疾笃，又使杀袭祖。临死与荣祖书曰："弟尝劝我危行言逊，今果败矣。"明帝初即位，四方反，除荣祖冗从仆射，遣还徐州，说刺史薛安都曰："天之所废，谁能兴之？使君今不同八百诸侯，如下官所见，非计中也。"安都曰："今京都无百里地，莫论攻围取胜，自可相拍手笑杀；且我不欲负孝武。"荣祖曰："孝武之行，足致余殃，今虽天下雷同，正是速死，无能为也。"安都曰："不知诸人云何，我不畏此，大蹄马在近，急便作计。"荣祖被拘不得还，因为安都将领。安都引魏军入彭城，荣祖携家属南奔朐山。齐高帝在淮阴，荣祖归附，高帝保持之。及宋明帝崩，高帝书送荣祖诣仆射褚彦回，除东海太守。彦回谓曰："萧公称卿干略，故以郡相处。"
荣祖善弹，登西楼，见翔鹄云中，谓左右当生取之。于是弹其两翅，毛脱尽，坠地无伤，养毛生后飞去，其妙如此。
元徽末，苍梧凶狂，恒欲危害高帝。帝欲奔广陵起事，荀伯玉等皆赞成之。荣祖谏曰："领府去台百步，公走，人岂不知？若单骑轻行，广陵人一旦闭门不相受，公欲何之？公今动足下床，恐便有叩台门者，公事去矣。"苍梧明夕自至领府扣门，欲害帝，帝尝以书案下安鼻为盾，以铁为书镇，如意甚壮大，以备不虞，欲以代杖。苍梧至府，而日且申，令夕须至一处作，适还当取奴。"寻遇杀。齐高帝谓荣祖曰："不用卿言，几无所成。"豫佐命勋，封将乐县子。永明二年，为寻阳相、南新蔡太守。被告作大形棺材盛仗，使乡人载度江北，案验无实，见原。后拜兖州刺史。初，巴东王子响事，方镇皆启称子响为逆，荣祖曰："此非所宜言，政应云刘寅等孤负恩奖，逼迫巴东，使至于此。"时诸启皆不得通，事平后，上乃省视，以荣祖为知言。九年卒。从弟历生，亦为骁将，位太子右率。性苛暴，与始安王遥光同反，伏诛。
闳，字叔通，荣祖从父也。父遵，位员外常侍。闳为宋孝武帝南中郎参军。孝武帝即位，以为交州刺史。时交土全实，闳罢州还，资财钜万。孝武末年贪欲，刺史二千石罢任还都，必限使献奉，又以蒱戏取之，要令罄尽乃止。闳还至南州，而孝武晏驾，拥南资为富人。明帝初，以为司州刺史。北破薛道摽，封乐乡县男。出为益州刺史。蜀还之货，亦数千金，先送献物，倾西资之半，明帝犹嫌其少。及闳至都，诣廷尉自簿，先诏狱官留闳，于是悉送资财，然后被遣。凡蛮夷不受鞭罚，输财赎罪，谓之赕。时人谓闳被赕刺史。历度支尚书，卫尉。齐高帝辅政，使褚彦回为子晃求闳女，闳辞以"齐大非偶"，帝虽嘉其退让，而心不能欢，即以晃婚王伷女。谓豫章王嶷曰："前欲以白象与垣公婚者，重其夷澹，事虽不遂，心常依然。"白象，晃小字也。及高帝即位，以有诚心，封爵如故。卒于金紫光禄大夫，谥曰定。子憘伯袭爵。
憘伯少负气豪侠，妙解射雉，尤为武帝所重，以为直阁将军。与王文和俱任，颇以地势陵之。后出为巴西、梓潼二郡太守，时文和为益州刺史，曰："每忆昔日俱在阁下，卿时视我，如我今日见卿。"因诬其罪，驰信启之，又辄遣萧寅代憘伯为郡。憘伯亦别遣启台，闭门待报，寅以兵围之。齐明帝辅政，知其无罪，不欲乖文和，乃敕憘伯解郡。还为寅军所蹑，束手受害。