转领军将军，迁尚书仆射，以疾病，不拜。徙太常，领崇德卫尉。时或谓简文 曰：“武陵第中大修器杖，将谋非常也。”简文以彪之。彪之曰：“武陵王志意尽 于驰骋田猎耳。愿深静之，以怀异同者。”或复以此为言，简文甚悦。
复转尚书仆射。时豫州刺史谢奕卒，简文遽使彪之举可以代奕者。对曰：“当 今时贤，备简高监。”简文曰：“人有举桓云者，君谓如何？”彪之曰：“云不必 非才，然温居上流，割天下之半。其弟复处西籓，兵权尽出一门，亦非深根固蒂之 宜也。人才非可豫量，但当令不与殿下作异者耳。”简文颔曰：“君言是也。”
后以彪之为镇军将军、会稽内史，加散骑常侍。居郡八年，豪右敛迹，亡户归 者三万余口。桓温下镇姑孰，威势震主，四方修敬，皆遣上佐纲纪。彪之独曰： “大司马诚为富贵，朝廷既有宰相，动静之宜自当谘禀。修敬若遣纲纪，致贡天子 复何以过之！”竟不遣。温以山阴县折布米不时毕，郡不弹纠，上免彪之。彪之去 郡，郡见罪谪未上州台者，皆原散之。温复以为罪，乃槛收下吏。会赦，免，左降 谪为尚书。
顷之，复仆为射。是时温将废海西公，百僚震栗，温亦色动，莫知所为。彪之 既知温不臣迹已着，理不可夺。乃谓温曰：“公阿衡皇家，便当倚傍先代耳。”命 取《霍光传》。礼度仪制，定于须臾，曾无惧容。温叹曰：“作元凯不当如是邪！” 时废立之仪既绝于旷代，朝臣莫有识其故典者。彪之神彩毅然，朝服当阶，文武仪 准莫不取定，朝廷以此服之。温又废武陵王遵，以事示彪之。彪之曰：“武陵亲尊， 未有显罪，不可以猜嫌之间，便相废徙。公建立圣明，遐迩归心，当崇奖王室，伊 周同美。此大事，宜更深详。”温曰：“此已成事，卿勿复言。”
及简文崩，群臣疑惑，未敢立嗣。或云，宜当须大司马处分。彪之正色曰： “君崩，太子代立，大司马何容得异！若先面谘，必反为所责矣。”于是朝议乃定。 及孝武帝即位，太皇太后令以帝冲幼，加在谅闇，令温依周公居摄故事。事已施行， 彪之曰：“此异常大事，大司马必当固让，使万机停滞，稽废山陵，未敢奉令。谨 具封还内，请停。”事遂不行。
温遇疾，讽朝廷求九锡，袁宏为文，以示彪之。彪之视讫，叹其文辞之美，谓 宏曰：“卿固大才，安可以此示人！”时谢安见其文，又频使宏改之，宏遂逡巡其 事。既屡引日，乃谋于彪之。彪之曰：“闻彼病日增，亦当不复支久，自可更小迟 回。”宏从之，温亦寻薨。
时桓冲及安夹辅朝政，安以新丧元辅，主上未能亲览万机，太皇太后宜临朝， 彪之曰：“先代前朝，主在襁抱，母子一体，故可临朝。太后亦不能决政事，终是 顾问仆与君诸人耳。今上年出十岁，垂婚冠，反令从嫂临朝，示人君幼弱，岂是翼 戴赞扬立德之谓乎！二君必行此事，岂仆所制，所惜者大体耳。”时安不欲委任桓 冲，故使太后临朝决政，献替专在乎自己。彪之不达安旨，故以为言。安竟不从。
寻迁尚书令，与安共掌朝政。安每曰：“朝之大事，众不能决者，谘王公无不 得判。”以年老，上疏乞骸骨，诏不许。转拜护军将军，加散骑常侍。安欲更营宫 室，彪之曰：“中兴初，即位东府，殊为俭陋，元明二帝亦不改制。苏峻之乱，成 帝止兰台都坐，殆不蔽寒暑，是以更营修筑。方之汉魏，诚为俭狭，复不至陋，殆 合丰约之中，今自可随宜增益修补而已。强寇未殄，正是休兵养士之时，何可大兴 功力，劳扰百姓邪！”安曰：“宫室不壮，后世谓人无能。”彪之曰：”任天下事， 当保国宁家，朝政惟允，岂以修屋宇为能邪！”安无以夺之。”故终彪之之世，不 改营焉。
加光禄大夫、仪同三司，未拜。疾笃，帝遣黄门侍郎问所苦，赐钱三十万以营 医药。太元二年卒，年七十三。即以光禄为赠，谥曰简。二子：越之，抚军参军； 临之，东阳太守。
棱字文子，彬季父国子祭酒琛之子也。少历清官。渡江，为元帝丞相从事中郎。 从兄导以棱有政事，宜守大郡，乃出为豫章太守，加广武将军。棱知从兄敦骄傲自 负，有罔上心，日夕谏诤，以为宜自抑损，推崇盟主，且群从一门，并相与服事， 应务相崇高，以隆勋业。每言苦切。敦不能容，潜使人害之。
弟侃，亦知名，少历显职，位至吴国内史。
虞潭，字思奥，会稽余姚人，吴骑都尉翻之孙也。父忠，仕至宜都太守。吴之 亡也，坚壁不降，遂死之。潭清贞有检操，州辟从事、主簿，举秀才，大司马、齐 王冏请为祭酒，除祁乡令，徙醴陵令。值张昌作乱，郡县多从之，潭独起兵斩昌别 率邓穆等。襄阳太守华恢上潭领建平太守，以疾固辞。遂周旋征讨，以军功赐爵都 亭侯。陈敏反，潭东下讨敏弟赞于江州。广州刺史王矩上潭领庐陵太守。绥抚荒余， 咸得其所。又与诸军共平陈恢，仍转南康太守，进爵东乡侯。寻被元帝檄，使讨江 州刺史华轶。潭至庐陵，会轶已平，而湘川贼杜弢犹盛。江州刺史卫展上潭并领安 成太守。时甘卓屯宜阳，为杜弢所逼。潭进军救卓，卓上潭领长沙太守，固辞不就。 王敦版潭为湘东太守，复以疾辞。弢平后，元帝召补丞相军谘祭酒，转琅邪国中尉。