居无何，又使刘贵请兆。以并、肆频岁霜旱，降户掘黄鼠而食之，皆面无谷色，徒污人国土。请令就食山东，待温饱而处分之。兆从其议。其长史慕容绍宗谏曰："不可，今四方扰扰，人怀异望，况高公雄略，又握大兵，将不可为。"兆曰："香火重誓，何所虑邪？"绍宗曰："亲兄弟尚难信，何论香火！"时兆左右已受神武金，因谮绍宗与神武旧隙，兆乃禁绍宗而催神武发。神武乃自晋阳出滏口。路逢尔朱荣妻乡郡长公主自洛阳来，马三百匹，尽夺易之。兆闻，乃释绍宗而问焉。绍宗曰："犹掌握中物也。"于是自追神武，至襄垣。会漳水暴长，桥坏。神武隔水拜曰："所以借公主马，非有他故，备山东盗耳。王受公主言，自来赐追，今渡河而死，不辞，此众便叛。"兆自陈无此意，因轻马渡，与神武坐幕下，陈谢，遂授刀引头，使神武斫己。神武大哭，曰："自天柱薨背，贺六浑更何所仰！愿大家千万岁，以申力用。今旁人构间至此，大家何忍复出此言？"兆投刀于地，遂刑白马而盟，誓为兄弟，留宿夜饮。尉景伏壮士欲执兆，神武啮臂止之，曰："今杀之，其党必奔归聚结。兵饥马瘦，不可相支。若英雄屈起，则为害滋甚。不如且置之。兆虽劲捷，而凶狡无谋，不足图也。"旦日，兆归营，又召神武。神武将上马诣之，孙腾牵衣乃止。隔水肆骂，驰还晋阳。兆心腹念贤领降户家累别为营。神武伪与之善，观其佩刀，因取之以杀其从者，尽散。于是士众咸悦，倍愿附从。
初，魏真君中，内学者奏言上党有天子气，云在壶关大王山。武帝于是南巡以厌当之。累石为三封，斩其北凤皇山以毁其形。后上党人居晋阳者号上党坊，神武实居之。及是行，舍大王山，六旬而进。将出滏口，倍加约束，纤毫之物，不听侵犯。将过麦地，神武輙步牵马。远近闻之，皆称高仪同将兵整肃，益归心焉。遂前行屯邺北，求粮于相州刺史刘诞，诞不供。有军营租米，神武自取之。
魏晋泰元年二月，神武军次信都，高乾、封隆之开门以待，遂据冀州。是月，尔朱度律废元晔而立节闵帝。欲羁縻神武，三月，乃白节闵帝，封神武为勃海王，征使入觐。神武辞。四月癸巳，又加授东道大行台、第一镇人酋长。庞苍鹰自太原来奔，神武以为行台郎，寻以为安州刺史。神武自向山东，养士缮甲。禁兵侵掠，百姓归心。乃诈为书，言尔朱兆将以六镇人配契胡为部曲，众皆愁。又为并州符，征兵讨步落稽。发万人将遣之，孙腾、尉景伪请留五日，如此者再。神武亲送之郊，雪涕执别。人号恸，哭声动地。神武乃喻之，曰："与尔俱失乡客，义同一家，不意在上乃尔征召！直向西已当死，后军期又当死，配国人又当死，奈何？"众曰："唯有反耳！"神武曰："反是急计，须推一人为主。"众愿奉神武。神武曰："尔乡里难制，不见葛荣乎？虽百万众，无刑法，终自灰灭。今以吾为主，当与前异。不得欺汉儿，不得犯军令，生死任吾，则可。不尔，不能为取笑天下。"众皆顿颡，死生唯命。神武曰："若不得已，明日，椎牛飨士，喻以讨尔朱兆之意。"封隆之进曰："千载一时，普天幸甚。"神武曰："讨贼，大顺也。拯时，大业也。吾虽不武，以死继之，何敢让焉。"六月庚子，建义于信都，尚未显背尔朱氏。及李元忠与高乾平殷州，斩尔朱羽生首来谒，神武抚膺曰："今日反决矣！"乃以元忠为殷州刺史。是时，兵威既振，乃抗表罪状尔朱氏。世隆等秘表不通。八月，尔朱兆攻陷殷州，李元忠来奔。孙腾以为朝廷隔绝，不权立天子，则众望无所系。十月壬寅，奉章武王融子勃海太守朗为皇帝，年号中兴，是为废帝。时度律、仲远军次晋阳，尔朱兆会之。神武用窦泰策，纵反间。度律、仲远不战而还，神武乃败兆于广阿。十一月，攻邺。相州刺史刘诞婴城固守。神武起土山，为地道，往往建大柱，一时焚之，城陷入地。麻祥时为汤阴令，神武呼之曰麻都，祥惭而逃。
永熙元年正月壬午，拔邺城，据之。废帝进神武大丞相、柱国大将军、太师。是时，青州建义大都督崔灵珍、大都督耿翔皆遣使归附，行汾州事刘贵弃城来降。闰三月，尔朱天光自长安，兆自并州，度律自洛阳，仲远自东郡，同会邺。众号二十万，挟洹水而军。节闵以长孙承业为大行台，总督焉。神武令封隆之守邺，自出顿紫陌。时马不满二千，步兵不至三万，众寡不敌。乃于韩陵为圆阵，连牛驴以塞归道。于是将士皆为死志，四面赴击之。尔朱兆责神武以背己。神武曰："本戮力者，共辅王室，今帝何在？"兆曰："永安枉害天柱，我报仇耳。"神武曰："我昔日亲闻天柱计，汝在户前立，岂得言不反邪？且以君杀臣，何报之有？今日义绝矣。"乃合战，大败之。尔朱兆对慕容绍宗叩心曰："不用公言，以此。"将轻走，绍宗反旗鸣角，收聚散卒，成军容而西上。高季式以七骑追奔，度野马岗，与兆遇。高昂望之不见，哭曰："丧吾弟矣！"夜久，季式还，血满袖。斛斯椿倍道先据河桥。初，普泰元年十月，岁星、荧惑、镇星、太白聚于觜、参，色甚明。太史占云，当有王者兴。是时，神武起于信都，至是而破兆等。四月，斛斯椿执天光、度律以送洛阳。长孙承业遣都督贾显智、张欢入洛阳。执世隆、彦伯斩之。兆奔并州。仲远奔梁州，遂死焉。时凶蠹既除，朝廷庆悦。初，未战之前月，章武人张绍夜中忽被数骑将逾城至一大将军前，敕绍为军导向邺。云佐受命者除残贼。绍回视之，兵不测，整疾无声。将至邺，乃放焉。及战之日，尔朱氏军人见阵外士马四合，盖神助也。既而神武至洛阳，废节闵及中兴主而立孝武。孝武既即位，授神武大丞相、天柱大将军、太师，世袭定州刺史，增封并前十五万户。神武辞天柱，减户五万。壬辰，还邺，魏帝饯于乾脯山，执手而别。七月壬寅，神武帅师北伐尔朱兆。封隆之言，侍中斛斯椿、贺拔胜、贾显智等往事尔朱，普皆反噬。今在京师宠任，必构祸隙。神武深以为然。乃归天光、度律于京师，斩之。遂自滏口入。尔朱兆大掠晋阳，北保秀容，并州平。神武以晋阳四塞，乃建大丞相府而定居焉。尔朱兆既至秀容，分兵守险，出入寇抄。神武扬声讨之，师出止者数四，兆意怠。神武揣其岁首当宴会，遣窦泰以精骑驰之。一日一夜行三百里，神武以大军继之。