忠以毁之者多，惧不免祸，愿还京，欲自营救。灵太后不许。二年四月，除尚书右仆射，加侍中，将军如故。
神龟元年三月，复仪同三司。疾，未拜。见裴、郭为祟，自知必死，先表养亡弟第二子司徒掾永超为子，乞以为嫡。灵太后许之。薨，赠司空。有司奏太常少卿元端议："案谥法，刚强理直曰武，怙威肆行曰丑，宜谥武丑公。"太常卿元修义议："忠尽心奉上，翦除凶逆。依谥法，除伪宁直曰武，夙夜恭事曰敬，宜谥武敬公。"二卿不同。灵太后令依正卿议。
忠性多阻忌，不交胜己，唯与直阁将军章初环、千牛备身杨保元为断金之交。李世哲求宠于忠，私以金帛货初环、保元，二人谈之，遂被赏爱，引为腹心。忠擅权昧进为崇训之由，皆世哲计也。
忠弟景，字百年。忠薨后，为武卫将军。谋废元叉，叉黜为怀荒镇将。及蠕蠕主阿那瑰叛，镇人请粮，景不给。镇人遂执缚景及其妻，拘守别室，皆去其衣服，令景著皮裘，妻著故绛旗袄，毁辱如此。月余，乃杀之。
烈弟果，严毅直亮，有父兄风。历朔、华、并、恒四州刺史，赐爵武城子。
果弟劲。劲字钟葵，颇有武略，位沃野镇将，赐爵富昌子。宣武纳其女为后，封劲太原郡公，妻刘氏为章武郡君。后为征北将军、定州刺史。卒，赠司空，谥曰恭庄公。自栗磾至劲，累世贵盛，一皇后，四赠公，三领军，二尚书令，三开国公。劲虽以后父，但以顺后早崩，竟不居公辅。
子晖，字宣明，后母弟也。少有气干。袭爵，位汾州刺史。晖善事人，为尔朱荣所亲，以女妻其子长儒。历侍中、河南尹。后兼尚书仆射、东南道行台，与齐神武讨平羊侃于兖州。元颢入洛，害之。
劲弟天恩，位内行长、辽西太守。赠平东将军、燕州刺史。天恩子仁生，位太中大夫。仁生子安定，平原郡太守、高平郡都将。安定子子提，陇西郡守、茂平县伯。周保定二年，以子谨著勋，追赠太保、建平郡公。
谨字思敬，小名巨引。沈深有识量，略窥经史，尤好《孙子》兵书。屏居未有仕进志。或有劝之者，谨曰："州郡之职，昔人所鄙，台鼎之位，须待时来。"太宰元天穆见之，叹曰："王佐材也。"及破六韩拔陵首乱北境，引蠕蠕为授，大行台元纂讨之。夙闻谨名，辟为铠曹参军事，从军北伐。蠕蠕逃出塞，纂令谨追之，前后十七战，尽降其众。后率轻骑出塞觇贼，属铁勒数千骑奄至。谨以众寡不敌，乃散其骑，使匿丛薄间。又遣人升山指麾，若分部军众。贼望见，虽疑有伏，恃众不以为虑，乃进逼谨。以常乘骏马一紫一騧，贼先所识，乃使二人各乘一马，突阵而出。贼以为谨，争逐之。乃率余军击其追骑。贼走，因得入塞。
正光四年，行台、广阳王元深北伐，引谨为长流参军。特相礼接，使其世子佛陁拜焉。遂与广阳破贼主斛律野谷禄等。谨请驰往喻之。谨兼解诸国语，乃单骑入贼，示以恩信，于是西部铁勒酋长也列河等三万余户并款附，相率南迁。广阳与谨至析郭岭迎接之。谨曰："拔陵兵众不少，闻也列河等款附，必来要击。彼若先据险，则难与争锋。今以也烈河等铒之，当竞来抄掠，然后设伏而待，必指掌破之。"广阳然其计。拔陵果来要击，破也列河于岭上，部众皆没。谨伏兵发，贼大败，悉破收也列河之众。
孝昌元年，又随广阳王征鲜于修礼。军次白斗牛逻。会章武王为修礼所害，遂停军中山。侍中元晏宣言于灵太后曰："广阳盘桓不进，坐图非望。又有于谨者，智略过人，为其谋主，恐非陛下纯臣。"灵太后诏于尚书省门外立榜，募获谨者，许以重赏。谨闻之，请诣阙披露腹心，广阳许之。谨遂到榜下，曰："吾知此人。"众共诘之，谨曰；"我即是也。"有司以闻。灵后见之，大怒。谨备述广阳忠款，兼陈停军之状。灵后遂舍之。后从尔朱天光与齐神武战于韩陵山，天光败，谨遂入关。
周文帝临夏州，以谨为防城大都督，兼夏州长史。及贺拔岳被害，周文赴平凉。谨言于周文曰："关中秦汉旧都，古称天府。今若据其要害，招集英雄，足观时变。且天子在洛，逼迫群凶。请都关右，然后挟天子而令诸侯，千载一时也。"周文大悦。会有敕追谨为关内大都督，谨因进都关中策。魏帝西迁，仍从周文征潼关，破回洛城，授北雍州刺史，进爵蓝田县公。大统三年，大军东伐，为前锋，进拔弘农，禽东魏陕州刺史李徽伯。神武至沙苑，谨力战，进爵常山郡公。又从战河桥，拜大丞相府长史，兼大行台尚书。再迁太子太保。芒山之战，大军不利，谨率麾下伪降，立于路左。神武乘胜逐北，不以为虞。谨自后击之，敌人大骇。独孤信又收兵于后奋击，神武军乱，以此大军得全。十二年，拜尚书左仆射，领司农卿。及侯景款附，请兵为援，谨谏以为景情难测，周文不听。寻兼大行台尚书、大丞相长史，率兵镇潼关，加授华州刺史，赐秬鬯一卣，珪瓒副焉。俄拜司空。恭帝元年，除雍州刺史。