初，梁元帝于江陵嗣位，密与齐交通，将谋侵轶。其兄子岳阳王詧时为雍州刺史，以梁元帝杀其兄誉，逐结隙，据襄阳来附。乃命谨出讨。周文饯于青泥谷。长孙俭曰："为萧绎计将如何？"谨曰："曜兵汉沔，席卷度江，直据丹阳，是其上策。移郭内居人，退保子城，以待援至，是其中策。若难于移动，据守罗郭，是其下策。"俭曰："裁绎出何策？"谨曰："必用下。"俭曰："何也？"对曰："萧氏保据江南，绵历数纪。属中原有故，未遑外略。又以我有齐氏之患，必谓力不能分。且绎懦而无谋，多疑少断。愚人难与虑始，皆恋邑居，既恶迁移，当保罗郭。所以用下策。"谨令中山公护及大将军杨忠等先据江津，断其走路。梁人竖木栅于外城，广轮六十里。寻而谨至，悉众围之。旬有六日，外城遂陷，梁主退保子城。翌日，率其太子以下，面缚出降。寻杀之。虏其男女十余万人，收其府库珍宝。得宋浑天仪、梁日晷、铜表、魏相风乌、铜蟠螭趺、大玉径西尺围七尺及诸舆辇法物以献，军无私焉。立萧詧为梁主，振旅而旋。周文亲至其第，宴语极欢。赏谨奴婢一千口。及梁宝物，并金石丝竹乐一部，别封新野郡公。谨固辞，不许。又令司乐作《常山公平梁歌》十首，使工人歌之。
谨自以久当权重，功名既立，愿保优闲，乃上先所乘骏马及所著铠甲等。周文识其意，曰："今巨猾未平，公岂得便尔独善？"遂不受。六官建，拜大司寇。
及周文崩，孝闵帝尚幼，中山公护虽受顾命而名位素下，群公各图执政。护深忧之，密访于谨。谨曰："夙蒙丞相殊眷，今日必以死争之。若对众定策，公必不得让。"明日，群公会议。谨曰："昔帝室倾危，丞相志存匡救。今上天降祸，奄弃百寮。嗣子虽幼，而中山公亲则犹子，兼受顾托，军国大事，理须归之。"辞色抗厉，众皆悚动。护曰："此是家事，护何敢有辞！"谨既周文等夷，护每申礼敬。至是，谨乃起而言曰："公若统理军国，谨等便有所依。"遂再拜。群公迫于谨，亦拜。众议始定。
孝闵践阼，进封燕国公，邑万户，迁太傅、太宗伯，与李弼、侯莫陈崇等参议朝政。及贺兰祥讨吐谷浑，明帝令谨遥统其军，授以方略。
保定二年，谨以年老，乞骸骨，优诏不许。
三年，以谨为三老，固辞，又不许。赐延年杖。武帝幸太学以食之。三老入门，皇帝迎拜屏间，三老答拜。有司设三老席于中楹，南向。太师、晋公护升阶，设席施几。三老升席，南面冯几而坐，师道自居。大司冠、楚国公宁升阶，正舄。皇帝升，立于斧扆之前，西面。有司进馔，皇帝跪设酱豆，亲自袒割。三老食讫。皇帝又亲跪授爵以酳。有司撤讫。皇帝北面立访道。三老乃起立于席。皇帝曰："猥当天下重任，自惟不才，不知政术之要，公其诲之。"三老答曰："木从绳则正，君从谏则圣。自古明王圣主，皆虚心纳谏，以知得失，天下乃安。惟陛下念之。"又曰："为国之本，在乎忠信。古人去食去兵，信不可失。国家兴废，莫不由之，愿陛下守而勿失。"又曰："为国之道，必须有法。法者，国之纲纪，不可不正。所正在于赏罚。若有功必赏，有罪必罚，则为善者日益，为恶者日止。若有功不赏，有罪不罚，则天下善恶不分，下人无所措其手足。"又曰："言行者，立身之基，言出行随，诚愿陛下慎之。"三老言毕，皇帝再拜受之，三老答拜，礼成而出。
及晋公护东伐，谨时有病。护以其宿将旧臣，犹请与同行，询访戎略。军还，赐钟磬一部。天和二年，又赐安车一乘。寻授雍州牧。三年，薨，年七十六。武帝亲临。诏谯王俭监护丧事，赐缯千段、粟梦千斛，赠本官，加使持节、太师、雍恒等二十州诸军事、雍州刺史，谥曰文。及葬，王公以下，咸送郊外。配享于文帝庙庭。
谨有智谋，善于事上。名位虽重，愈存谦挹，每朝参往来，不过从两三骑而已。朝廷凡有军国之务，多与谨决。谨亦竭其智能，故功臣中特见委信，始终若一，人无间言。每诫诸子，务存静退。加以年齿遐长，礼遇隆重，子孙繁衍，皆至显达，当时莫比。子寔嗣。
寔字宾实，少和厚，以军功封万年县子。大统十四年，累迁尚书。是岁，周文帝与魏太子西巡，寔时从行。周文刻石陇山上，录功臣名位，以次镌勒，预以寔为开府仪同三司，至十五年方授之。寻除渭州刺史，特给鼓吹一部，进爵为公。魏恭帝二年，羌东令姐率部落反，西连吐谷浑。大将军豆卢宁讨之，逾时不克。又令寔往，遂破之。周文手书劳问，赐奴婢一百口，马百匹。