贺之临州，鞫狱以情，徭役简省，清约宽裕，甚得人心。时武邑郡奸人石华告沙门道可与贺谋反，有司以闻。文成曰："贺保无此。"乃精加讯检，华果引诬。乃遣使慰勉之。帝顾左右曰："贺忠诚，尚致诬谤，其不若是者，可无慎乎！"时考殿最，贺政为上第，赐衣马器物，班宣天下。后征拜太尉。蠕蠕寇边，贺从驾讨破之。及献文将传位于京兆王子推，时贺都督诸军事屯漠南，乃驰传征贺。贺至，正色固执不可。即诏持节奉皇帝玺绶以授孝文。是岁，河西叛，敕遣贺讨之，多所降破。贺依古今兵法及先儒耆旧说，略采至要，为十二陈图，上之，献文览而嘉焉。又都督三道诸军屯漠南。
时每岁秋冬，遣军三道并出，以备北寇，至春中乃班师。贺以劳役京都，又非御边长计，乃上言，请募诸州镇有武勇者三万人，复其徭赋，厚加振恤，分为三部。二镇之间筑城，城置万人，给强弩十二床，武卫三百乘。弩一床给牛六头，武卫一乘给牛二头。多造马枪及诸器械，使武略大将二人以镇抚之。冬则讲武，春则种植，并戍并耕，则兵未劳而有盈蓄矣。又于白道南三处立仓，运近州镇租粟以充之。足食足兵，以备不虞，于事为便。不可岁常举众。事寝不报。
上书称病乞骸骨，至于再三，乃许之。朝有大议，皆就询访，又给衣药珍羞。太和元年二月，疗疾于温汤。孝文、文明太后遣使屡问消息，太医视疾。患笃，还于京师。乃遗令诸子曰："吾顷以老患辞事，不悟天慈降恩，爵逮于汝。汝其毋傲吝，毋荒怠，毋奢越，毋嫉妒。疑思问，言思审，行思恭，服思度。遏恶扬善，亲贤远佞，目观必真，耳属必正，忠勤以事君，清约以临己。吾终之后，所葬，时服单椟，足申孝心，皞灵明器，一无用也。"三年，薨，赠侍中、太尉、陇西王印绶，谥曰宣王。赐巉辌车及命服、温明秘器，陪葬金陵。
长子延，性谨厚，少好学，位侍御中散，赐爵广武子。卒，赠凉州刺史，广武侯，谥曰简。子鳞袭。
延弟思礼，后赐名怀，谦恭宽雅有大度。文成末，为侍御中散。父贺辞老，诏受父爵。后持节督诸军屯于漠南，蠕蠕甚惮之。还，除殿中尚书，出为长安镇将、雍州刺史。清俭有惠政，善抚恤，劫盗息止。复拜殿中尚书，加侍中，参都曹事。又督诸军征蠕蠕，六道大将，咸受节度。迁尚书令，参议律令。后便降为公。除司州刺史。又从驾南征，加卫大将军，领中军事。以母忧去职，赐帛三百匹，谷一千石。车驾幸代，诏使者吊慰。
景明二年，除尚书左仆射，加位特进。时诏以奸吏犯罪，每多逃遁，肆眚乃出，并皆释然。自今犯罪，不问轻重，藏窜者，悉皆远流。若永避不出，兄弟代徙。怀乃奏曰："谨案条例，逃吏不在赦限。窃惟圣朝之恩，事异前宥，诸流徙在路，尚蒙旋返，况有未发，而仍遣边戍？案守宰犯罪，逃走者众，禄润既优，尚有兹失，及蒙恩宥，卒然得还。今独苦此等，恐非均一之法。"书奏，门下以成式既班，驳奏不许。怀重奏曰："臣以为法贵经通，政尚简要，刑宪之设，所以网罗罪人，苟理之所备，不在繁典。伏寻条例，勋品以下，罪发逃亡，遇恩不宥。虽欲抑绝奸途，匪为通式。谨按事条，侵官败法，专据流外，岂九品已上，人皆贞白也？其诸州守宰，职任清流，至有贪浊，事发逃窜，而遇恩免罪；勋品已下，独求斯例。如此，则宽纵上流，法切于下，育物有差，惠罚不等。又谋逆滔天，经恩尚免，吏犯微罪，独不蒙赦，使大宥之经不通，开生之路致壅；进违古典，退乖今律。臣少践天官，老荷枢要，每见诉讼，出入嗟苦，辄率愚见，以为宜停。"书奏，宣武纳之。其年，除车骑大将军、凉州大中正。
怀又表曰："昔世祖升遐，南安在位，出拜东庙为贼臣宗爱所贼。时高宗避难，龙潜苑中，宗爱异图，神位未立。先臣贺与长孙渴侯、陆丽等奉迎高宗，纂徽宝命。丽以扶负圣躬，亲所见识，蒙授抚军、司徒公、平原王。兴安二年，追论定策之勋，进先臣爵西平王。皇兴季年，显祖将传大位于京兆王，先臣时都督诸将屯于武川，被征诣京，特见顾问。先臣固执不可，显祖久乃许之，遂命先臣持节授皇帝玺绶于高祖。至太和十六年，丽息睿状秘书，称其亡父与先臣援立高宗，朝廷追录，封睿钜鹿郡开国公。臣时丁艰草土，不容及例。至二十年，除臣雍州刺史。临发奉辞，面奏先帝，申先臣旧勋。时蒙敕旨，但赴所临，寻当别判。至二十一年，车驾幸雍，臣复陈闻。时蒙敕旨，征还当授。自宫车晏驾，遂尔不申。窃惟先臣，远则授立高宗，宝历不坠；近则陈力显祖，神器有归。如斯之勋，超世之事也。丽以父功，而获山河之赏；臣有家勋，不沾茅土之锡。得否相悬，请垂裁处。"诏曰："宿老元臣，云如所诉，访之史官，颇亦言此。可依授北冯翊郡开国公，食邑九百户。"