太昌初，以胜为领军将军，寻除侍中。孝武帝将图齐神武，以胜弟岳拥众关西，欲广其势援，乃拜胜为都督三荆、二郢、南襄、南雍七州诸军事，进位骠骑大将军、开府仪同三司、荆州刺史，加授南道大行台尚书左仆射。胜攻梁下溠戍，擒其戍主尹道珍等。又使人诱动蛮王文道期，率其种落归款。梁雍州刺史萧续击道期不利，汉南大骇。胜遣大都督独孤信、军司史宁取欧阳、酂城，南雍州刺史长孙亮、南荆州刺史李魔怜、大都督王元轨取久山、白洎，都督拔略昶、史仵龙取义城、均口，擒梁将庄思延，获甲卒数千人。攻冯翊、安定、沔阳，并平之。胜军于樊、邓之间。梁武敕续曰："贺拔胜北间骁将，尔宜慎之。"续遂城守不敢出。寻进位中书令，增邑二千户，进爵琅邪郡公。续遣柳仲礼守谷城，胜攻之未拔。属齐神武与帝有隙，诏胜引兵赴洛，至广州，犹豫未进，而帝已西迁。胜还军南阳，遣右丞阳休之奉表入关，又令府长史元颖行州事。胜自率所部，将西赴关中，进至淅阳，诏授胜太保、录尚书事。时齐神武已陷潼关，屯军华阴。胜乃还荆州。州民邓诞执元颖，北引侯景。胜至，景逆击之。胜军不利，率麾下数百骑，南奔梁。
在江表三年，梁武帝遇之甚厚。胜常乞师北讨齐神武，既不果，乃求还。梁武帝许之，亲饯于南苑。胜自是之后，每行执弓矢，见鸟兽南向者皆不射之，以申怀德之志也。既至长安，诣阙谢罪。朝廷嘉其还，乃授太师。
后从太祖擒窦泰于小关，加授中军大都督。又从太祖攻弘农。胜自陕津先渡河，东魏将高干遁，胜追获，囚之。下河北，擒郡守孙晏、崔乂。从破东魏军于沙苑，追奔至河上。仍与李弼别攻河东，略定汾、绛。增邑并前五千户。河桥之役，胜大破东魏军。太祖命胜收其降卒而还。及齐神武悉众攻玉壁，胜以前军大都督从太祖追之于汾北。又从战邙山。时太祖见齐神武旗鼓，识之，乃募敢勇三千人，配胜以犯其军。胜适与齐神武相遇，因字呼之曰："贺六浑，贺拔破胡必杀汝也。"时募士皆用短兵接战，胜持槊追齐神武数里，刃垂及之。会胜马为流矢所中，死，比副骑至，齐神武已逸去。胜叹曰："今日之事，吾不执弓矢者，天也！"
是岁，胜诸子在东者，皆为齐神武所害。胜愤恨，因动气疾。大统十年，薨于位。临终，手书与太祖曰："胜万里杖策，归身阙庭，冀望与公扫除逋寇。不幸殒毙，微志不申。愿公内先协和，顺时而动。若死而有知，犹望魂飞贼庭，以报恩遇耳。"太祖览书，流涕久之。
胜长于丧乱之中，尤工武艺，走马射飞鸟，十中其五六。太祖每云："诸将对敌，神色皆动，唯贺拔公临阵如平常，真大勇也。"自居重位，始爱坟籍。乃招引文儒，讨论义理。性又通率，重义轻财，身死之日，唯有随身兵仗及书千余卷而已。
初，胜至关中，自以年位素重，见太祖不拜，寻而自悔，太祖亦有望焉。后从太祖宴于昆明池，时有双凫游于池上，太祖乃授弓矢于胜曰："不见公射久矣，请以为欢。"胜射之，一发俱中。因拜太祖曰："使胜得奉神武，以讨不庭，皆如此也。"太祖大悦。自是恩礼日重，胜亦尽诚推奉焉。赠定冀等十州诸军事、定州刺史、太宰、录尚书事，谥曰贞献。明帝二年，以胜配享太祖庙庭。
胜无子，以弟岳子仲华嗣。大统三年，赐爵樊城公。魏废帝时，为通直郎、散骑常侍，迁黄门郎，加车骑大将军、仪同三司，骠骑大将军、开府仪同三司。六官建，拜守庙下大夫。孝闵帝践阼，袭爵琅邪公，除利州刺史。大象末，位至江陵总管。
胜兄弟三人，并以豪侠知名。兄允字阿泥，魏孝武时，位至太尉，封燕郡王，为神武所害。
岳字阿斗泥。少有大志，爱施好士。初为太学生。及长，能左右驰射，骁果绝人。不读兵书而暗与之合。识者咸异之。与父兄诛卫可孤之后，广阳王元渊以岳为帐内军主。又表为强弩将军。后与兄胜俱镇恒州。州陷，投尔朱荣。荣待之甚厚，以为别将，寻为都督。每居帐下，与计事，多与荣意合，益重之。荣士马既众，遂与元天穆谋入匡朝廷。谓岳曰："今女主临朝，政归近习。盗贼蜂起，海内沸腾。王师屡出，履亡相继。吾累世受恩，义同休戚。今欲亲率士马，电赴京师，内除君侧，外清逆乱。取胜之道，计将安出？"岳对曰："夫立非常之事，必俟非常之人。将军士马精强，位任隆重。若首举义旗，伐叛匡主，何往而不克，何向而不摧。古人云'朝谋不及夕，言发不俟驾'，此之谓矣。"荣与天穆相顾良久，曰："卿此言，真丈夫之志也。"未几，而魏孝明帝暴崩。荣疑有故，乃举兵赴洛。配岳甲卒二千为先驱，至河阴。荣既杀害朝士，时齐神武为荣军都督，劝荣称帝，左右多欲同之，荣疑未决。岳乃从容进而言曰："将军首举义兵，共除奸逆，功勤未立，逆有此谋，可谓速祸，未见其福。"荣寻亦自悟，乃尊立孝庄。岳又劝荣诛齐神武以谢天下。左右咸言："高欢虽复庸疏，言不思难。今四方尚梗，事藉武臣，请舍之，收其后效。"荣乃止。以定策功，授前将军、太中大夫，赐爵樊城乡男。复为荣前军都督，破葛荣于滏口。迁平东将军、金紫光禄大夫。坐事免。诏寻复之。从平元颢，转左光禄大夫、武卫将军。