上崩，遗诏以俭为侍中、尚书令、镇军。每上朝，令史恒有三五十人随上，谘事辩析，未尝壅滞。褚彦回时为司徒、录尚书，笑谓俭曰："观令判断甚乐。"俭曰："所以得厝私怀，实由禀明公不言之化。"武帝即位，给班剑二十人，进号卫将军，掌选事。时有司以前代嗣位，或仍前郊年，或别为郊始，晋、宋以来，未有画一。俭议曰："晋明帝太宁三年南郊，其年九月崩；成帝即位，明年改元，亦郊。简文咸安二年南郊，其年七月崩；孝武即位，明年改元，亦郊。宋元嘉三十年正月南郊，二月崩；孝武嗣位，明年亦郊。此二代明例，差可依放。今圣明系业，幽显宅心，言化则频郊非嫌，语事则元号初改，禋燎登配，孝敬兼遂。谓明年正月宜飨礼二郊，虞祭明堂。自兹以后，依旧间岁。"有司又以明年正月上辛应南郊，而立春在上辛后，郊在立春前为疑。俭曰："宋景平元年正月三日辛丑南郊，其月十一日立春；元嘉十六年正月六日辛未南郊，其月八日立春，此近世明例也。"并从之。永明二年，领丹阳尹。三年，领国子祭酒，又领太子少傅。旧太子敬二傅同，至是朝议接少傅以宾友礼。
宋时国学颓废，未暇修复。宋明帝泰始六年，置总明观以集学士，或谓之东观，置东观祭酒一人，总明访举郎二人；儒、玄、文、史四科，科置学士十人，其余令史以下各有差。是岁，以国学既立，省总明观，于俭宅开学士馆，以总明四部书充之。又诏俭以家为府。四年，以本官领吏部。先是宋孝武好文章，天下悉以文采相尚，莫以专经为业。俭弱年便留意《三礼》，尤善《春秋》，发言吐论，造次必于儒教，由是衣冠翕然，并尚经学，儒教于此大兴。何承天《礼论》三百卷，俭抄为八帙，又别抄条目为十三卷。朝仪旧典，晋、宋来施行故事，撰次谙忆，无遗漏者。所以当朝理事，断决如流。每博议引证，先儒罕有其例，八坐丞郎，无能异者。令史谘事，宾客满席，俭应接铨序，傍无留滞。十日一还，监试诸生，巾卷在庭，剑卫令史，仪容甚盛。作解散帻，斜插簪，朝野慕之，相与放效。俭常谓人曰，"江左风流宰相，惟有谢安"，盖自况也。武帝深委仗之，士流选用，奏无不可。
五年，俭即本号开府仪同三司，固让。六年，重申前命。先是诏俭三日一还朝，尚书令史出谘事，上以往来烦数，诏俭还尚书下省，月听十日出外。俭启求解选，上不许。七年，乃上表固请，见许，改领中书监，参掌选事。其年疾，上亲临视。薨，年三十八。诏卫军文武及台所给兵仗，悉停侍葬。又诏追赠太尉，加羽葆、鼓吹，增班剑为六十人，葬礼依太宰文简公褚彦回故事。谥文宪公。俭寡嗜欲，唯以经国为务，车服尘素，家无遗财。手笔典裁，为当时所重。少便有宰臣之志，赋诗云："稷契匡虞夏，伊吕翼商周。"及生子，字曰玄成，取仍世作相之义。撰《古今丧服集记》并文集，并行于世。梁武帝受禅，诏为俭立碑，降爵为侯。
俭弟逊，宋升明中为丹阳丞，告刘彦节事，不蒙封赏。建元初，为晋陵太守，有怨言。俭虑为祸，因褚彦回启闻，中丞陆澄依事举奏。诏以俭竭诚佐命，特降刑书宥逊，远徙永嘉郡，于道伏诛。长子骞嗣。
骞，字思寂，本字玄成，与齐高帝偏讳同，故改焉。性凝简，慕乐广为人，未尝言人之短。诸女子侄皆嫔王尚主，朔望来归，辎軿填咽，非所欲也，敕岁中不过一称见。尝从容谓诸子曰："吾家本素族，自可依流平进，不须苟求也。"历黄门郎、司徒右长史。不事产业，有旧墅在钟山八十余顷，与诸宅及故旧共佃之。常谓人曰："我不如郑公业，有田四百顷，而食常不周。"以此为愧。永元末，召为侍中，不拜。三年春，枉矢昼见西方，长十余丈。骞曰："此除旧布新之象也。"及梁武起兵，骞曰："天时人事，其在此乎？"梁武霸府建，引为大司马谘议参军，迁侍中。及帝受禅，降封为侯。历位度支尚书，中书令。武帝于钟山西造大爱敬寺，骞旧墅在寺侧者，即王导赐田也。帝遣主书宣旨，就骞市之，欲以施寺。答云："此田不卖；若敕取，所不敢言。"酬对又脱略。帝怒，遂付市评田价，以直逼还之。由是忤旨，出为吴兴太守。骞性侈于味而俭于服，颇以多忌为累。又惰于接物，虽主书宣敕，或过时不见。才望不及弟暕，特以俭之嫡，故不弃于时。暕为尚书左丞仆射，当朝用事，骞自中书令为郡，邑邑不乐，在郡卧不视事。征复为度支尚书，加给事中，领射声校尉。以母忧去职。普通三年卒，年四十九。赠侍中、金紫光禄大夫，谥曰安。子规。