俭，字仲宝，生而僧绰遇害，为叔父僧虔所养。数岁，袭爵豫宁县侯。拜受茅上，流涕呜咽。幼笃学，手不释卷。宾客或相称美，僧虔曰："我不患此儿无名，政恐名太盛耳。"乃手书崔子玉《座右铭》以贻之。丹阳尹袁粲闻其名，及见之曰："宰相之门也。栝柏豫章虽小，已有栋梁气矣，终当任人家国事。"言之宋明帝，选尚阳羡公主，拜驸马都尉。帝以俭嫡母武康主同太初巫蛊事，不可以为妇姑，欲开冢离葬。俭因人自陈，密以死请，故事不行。年十八，解褐秘书郎，太子舍人，超迁秘书丞。依《七略》撰《七志》四十卷，表献之。又撰定《元徽四部书目》。母忧，服阕，为司徒右长史。晋令，公府长史著朝服，宋大明以来著朱衣。俭上言宜复旧制，时议不许。
及苍梧暴虐，俭告袁粲求外出，引晋新安主婿王献之任吴兴为例，补义兴太守。升明二年，为长史兼侍中，以父终此职，固让。先是齐高帝为相，欲引时贤参赞大业。时谢朏为长史，帝夜召朏，却人与语，久之，朏无言。唯有二小儿捉烛，帝虑朏难之，仍取烛遣儿，朏又无言，帝乃呼左右。俭素知帝雄异，后请间言于帝曰："功高不赏，古来非一，以公今日位地，欲北面居人臣，可乎？"帝正色裁之，而神采内和。俭因又曰："俭蒙公殊眄，所以吐所难吐，何赐拒之深。宋以景和、元徽之淫虐，非公岂复宁济；但人情浇薄，不能持久，公若小复推迁，则人望去矣，岂唯大业永沦，七尺岂可得保？"帝笑曰："卿言不无理。"俭又曰："公今名位，故是经常宰相，宜礼绝群后，微示变革。当先令褚公知之，俭请衔命。"帝曰："我当自往。"经少日，帝自造彦回，款言移晷，乃谓曰："我梦应得官。"彦回曰："今授始尔，恐一二年间未容便移。且吉梦未必便在旦夕。"帝还告俭，俭曰："褚是未达理。"虞整时为中书舍人，甚闲辞翰，俭乃自报整，使作诏。及高帝为太尉，引俭为右长史，寻转左，专见任用。大典将行，礼仪诏策，皆出于俭，褚彦回唯为禅诏，又使俭参怀定之。齐台建，迁尚书右仆射，领吏部，时年二十八。多所引进。时客有姓谭者，诣俭求官，俭谓曰："齐桓灭谭，那得有君？"答曰："谭子奔莒，所以有仆。"俭赏其善据，卒得职焉。高帝尝从容谓俭曰："我今日当以青溪为鸿沟。"对曰："天应人顺，庶无楚、汉之事。"时朝仪草创，衣服制则未有定准。俭议曰："汉景六年，梁王入朝，中郎谒者，金貂出入殿门。左思《魏都赋》云'蔼蔼列侍，金貂齐光'，此藩国侍臣有貂之明文。晋《百官表》云'太尉参军四人，朝服武冠'，此又宰府之明文。"又疑百僚敬齐公之礼，俭又曰："晋王受命，劝进云，'冲等眷眷'，称名则应尽礼。"而世子礼秩未定，俭又曰："《春秋》曹世子来朝，待以上公之礼，下其君一等。今齐公九命，礼冠列蕃，世子亦宜异数。"并从之。世子镇石头城，仍以为世**，俭又曰："鲁有灵光殿，汉之前例也。听事为崇光殿，外斋为宣德殿，以散骑常侍张绪为世子詹事，车服悉依东宫制度。"
高帝践阼，与俭议佐命功臣，从容谓曰："卿谋谟之功，莫与为二，卿止二千户，意以为少。赵充国犹能自举西零之任，况卿与我情期异常。"俭曰："昔宋祖创业，佐命诸公，开国不过二千，以臣比之，唯觉超越。"上笑曰："张良辞侯，何以过此。"建元元年，改封南昌县公。时都下舛难，且多奸盗，上欲立符伍，家家以相检括。俭谏曰："京师翼翼，四方是凑，必也持符，于事既烦，理成不旷，谢安所谓'不尔何以为京师'。"乃止。是岁，有司奏定郊殷之礼，俭以为宜以今年十月殷祭宗庙，自此以后，五年再殷祭。二年正月上辛，有事南郊，即以其日还祭明堂，又用次辛，飨祀北郊而并无配。从之。明年转左仆射，领选如故。初，宋明帝紫极殿珠帘绮柱，饰以金玉，江左所未有。高帝欲以其材起宣阳门，俭与褚彦回及叔父僧虔连名表谏，上手诏酬纳。宋世宫门外六门城设竹篱，是年初，有发白虎樽言"白门三重门，竹篱穿不完"。上感其言，改立都墙。俭又谏，上答曰："吾欲后世无以加也。"朝廷初基，制度草创，俭问无不决。上每曰"《诗》云'惟岳降神，生甫及申'，今天为我生俭也。"其年固请解选，见许。
帝幸乐游宴集，谓俭曰："卿好音乐，孰与朕同？"俭曰："沐浴唐风，事兼比屋，亦既在齐，不知肉味。"帝称善。后幸华林宴集，使各效伎艺。褚彦回弹琵琶，王僧虔、柳世隆弹琴，沈文季歌《子夜来》，张敬儿舞。俭曰："臣无所解，唯知诵书。"因跪上前诵相如《封禅书》。上笑曰："此盛德之事，吾何以堪之。"后上使陆澄诵《孝经》，起自"仲尼居"，俭曰："澄所谓博而寡要，臣请诵之。"乃诵《君子之事上章》。上曰："善，张子布更觉非奇也。"于是王敬则脱朝服袒，以绛纠髻，奋臂拍张，叫动左右。上不悦曰："岂闻三公如此？"答曰："臣以拍张，故得三公，不可忘拍张。"时以为名答。俭寻以本官领太子詹事，加兵三百人。时皇太子妃薨，左卫将军沈文季经为宫臣，未详服不。俭议曰："汉、魏以来，宫僚先备臣隶之节，具体在三。存既尽敬，亡岂无服？昔庾翼丧妻，王允、滕含犹谓府吏宜有小君之服，况臣节之重。宜依旧君之妻齐衰三月而除。"