太昌初，以胜为领军将军，寻除侍中。孝武帝将图齐神武，以胜弟岳拥众关西，欲广其势援，乃拜都督、荆州刺史、骠骑大将军、开府仪同三司、南道大行台、尚书左仆射。胜多所克捷，沔北荡为丘墟。梁武帝敕其子雍州刺史续曰："贺拔胜北间骁将，尔宜慎之，勿与争锋。"续遂城守不敢出。寻进位尚书令，进爵琅邪郡公。
及齐神武与孝武帝有隙，诏胜引兵赴洛，至广州，犹豫未进，而帝已入关。胜还军南阳，遣右丞杨休之奉表入关，又令府长史元颖行州事，胜自率所部，将西赴关中。进至浙阳，诏授胜太保、录尚书事。闻齐神武已平潼关，禽毛鸿宾，胜乃还荆州。州人邓诞执元颖，引齐师。时齐神武已遣行台侯景、大都督高敖曹赴之，胜败，中流矢，奔梁。在南三年，梁武帝遇之甚厚。胜乞师北讨齐神武，既不果，乃求还。梁武帝许之，亲饯于南苑。胜自是之后，每执弓矢，见鸟兽南向者，皆不射之，以申怀德之意。既至长安，诣阙谢罪。魏帝握胜手，嘘欷久之，曰："初平西徙，永嘉南度，汉、晋皆尔。事乃关天，非公之咎也。"乃授太师。从周文帝禽窦泰于小关。攻弘农。下河北，禽郡守孙晏。摧破东魏军于沙苑，奔追至河上。仍与李弼别攻河东，略定汾、绛。河桥之役，胜大破东魏军，周文令胜收其降卒而还。及齐神武率众攻玉壁，胜以前军大都督从周文。见齐武旗鼓，识之，乃募敢勇三千人，配胜以犯其军。胜适与神武遇，连叱而字之曰："贺六浑，贺拔破胡必杀汝也！"时胜持槊追神武数里，刃垂及之，神武汗流，气殆尽。会胜马为流矢所中，死。比副骑至，神武已逸去。胜叹曰："今日之事，吾不执弓矢者，天也！"
是岁，胜诸子在东者，皆为神武所害。胜愤恨，因动气疾，大统十年，薨于位。临终，手书与周文曰："胜万里杖策，归身阙庭，冀望与公扫除逋寇。不幸殒毙，微志不申。若死而有知，犹望魂飞贼庭，以报恩遇耳。"周文览书，流涕久之。胜长于丧乱之中，尤工武艺，走马射飞鸟，十中其五六。周文每云："诸将对敌，神色皆动，唯贺拔公临阵如平常，真大勇也。"自居重任，始爱坟籍，乃招引文儒，讨论义理。性又通率，重义轻财，身死之日，唯有随身兵仗及书千卷而已。
初，胜至关中，自以年位素重，见周文不拜。寻而自悔，周文亦有望焉。后从宴昆明池，时有双凫游池中，周文授弓矢于胜曰："不见公射久矣，请以为欢。"胜射之，一发俱中。因拜曰："使胜得奉神武，以讨不庭，皆如此也。"周文悦，因是恩礼日重，胜亦尽诚推奉焉。赠太宰、录尚书事，谥曰贞献。明帝二年，以胜配飨文帝庙庭。
无子，以弟岳子仲华嗣。位开府仪同三司，袭爵琅邪公。大象末，位江陵总管。胜弟岳。
岳字阿斗泥，少有大志，爱施好士。初为太学生。及长，能左右驰射，骁果绝人。不读兵书，而暗与之合，识者咸异之。与父兄赴援怀朔，贼王卫可环在城西三百余步，岳乘城射之，箭中环臂，贼大骇。后广阳王深以为帐内军主，与兄胜俱镇恒州。州陷，投尔朱荣，荣以为都督。每帐下与计事，多与荣意合。荣与元天穆谋入匡朝廷，问计于岳。岳曰："夫非常之事，必俟非常之人。将军士马精强，位望隆重，若首举义旗，伐叛匡救，何往不克，何向不摧！古人云：'朝谋不及夕，言发不俟驾。'此之谓矣。"荣与天穆相顾良久，曰："卿此言，真丈夫之论也。"
未几，孝明帝暴崩，荣疑有故，乃举兵赴洛。配岳甲卒二千为先驱。至河阴，荣既杀朝士，因欲称帝，疑未能决。岳乃从容致谏，荣寻亦自悟，乃尊立孝庄。以定策功，赐爵樊城乡男。从荣破葛荣，平元颢，累迁左光禄大夫、武卫将军。时万俟丑奴僣称大号，关中骚动，荣将遣岳讨之。私谓其兄胜曰："丑奴足为勍敌，若岳往无功，罪责立至；假令克定，恐谗诉生焉。"乃请尔朱氏一人为元帅，岳副贰之。荣大悦，乃以天光为使持节、大都督、雍州刺史，以岳为左厢大都督，又以征西将军侯莫陈悦为右厢大都督，并为天光之副，以讨之。时赤水蜀贼兵断路，天光众不满二千。及军次潼关，天光有难色，岳乃进破之于渭北，军容大振。
时丑奴自围岐州，遣其大行台尉迟菩萨、仆射万俟行丑同向武功，南度渭水，攻围趋栅。天光遣岳率千骑赴援。菩萨攻栅已克，率步骑二万至渭北。岳以轻骑数十，与菩萨隔水交言。岳称扬国威，菩萨乃自骄，令省事传语。省事恃水，应答不逊。岳怒，举弓射之，应弦而倒。时已逼暮，于是各还。岳于渭南傍水，分精兵数十为一处，随地形势置之。明日，将百余骑，隔水与贼相见，且并东行。岳渐前进，先所置骑，随岳而集，骑既渐增，贼不复测其多少。行二十许里，至水浅可济处，岳便驰马东出，似欲奔遁。贼谓岳走，乃弃步兵，南度渭水，轻骑追岳。岳东行十余里，依横冈设伏兵以待之，身先士卒，急击之，贼便退走。岳号令所部，贼下马者皆不听杀。贼顾见之，便悉投马。俄虏三千人。马亦无遗，遂禽菩萨。仍度渭北，降步卒万余。丑奴寻弃岐州，北走安定。天光方自雍至，与岳合势。宣言今气候已热，非征讨之时，待至秋凉，更图进取。丑奴闻之，遂以为实，分遣诸军散营农于岐州北百里网川。使太尉侯伏侯元进据险立栅。岳知其势分，密与天光严备。昧旦，攻围元进栅，拔之，即禽元进，自余诸栅悉降。又轻骑追丑奴，及之于平凉之长坑，一战禽之。高平城中又执萧宝夤以归。