第二年，匈奴派三千多骑兵攻入五原，杀掠几千人，后来又派几万骑兵向南沿着边塞打猎骚扰，一边走一边进攻汉朝在塞外的城堡、哨所，掳去官吏、人民。那时汉朝边塞各郡的报警烽火十分精明，观望仔细，入侵边境的匈奴人很少顺利的，因此很少再入侵边塞。汉朝又得到了投降的匈奴人，说乌桓曾经挖掘已故匈奴单于的坟墓，匈奴怨恨乌桓，现在正派发了二万骑兵去攻打乌桓。大将军霍光想发兵拦截攻击匈奴，就这事询问护军都尉赵充国。赵充国认为“乌桓以前曾多次入侵汉朝边境，现在匈奴去攻击他们，这对汉朝是便利之事。另外匈奴很少犯边，北部边境幸好没有战争。蛮夷自相攻击，而汉朝发兵拦击，招惹匈奴，多生事端，逭不是好主意。”于是霍光又向中郎将范明友征求意见，范明友说可以攻击他们。于是汉朝任命范明友为度辽将军，率领二万骑兵从辽东出击。匈奴听说汉军到了，便撤退了。当初汉军出发前，霍光告诫范明友说：“军队不要白出去一趟，如果错过匈奴，就攻击乌桓。”乌桓当时刚被匈奴军队挫伤，范明友紧随匈奴之后，便趁隙攻击乌桓，杀死乌桓六千多人，还杀死乌桓三位王爷，率军返回，汉朝封范明友为平陵侯。
匈奴因此十分害怕，不敢再出兵。就派使者到乌孙国，想得到嫁到乌孙的汉朝公主。又攻打乌孙国，攻取了车延、恶师等地。嫁到乌孙的汉公主上书汉天子求救，汉朝把这事下交给公卿大臣们商议，没能决定怎么办。这时，昭帝死了，汉宣帝继位，乌孙国首领昆弥又上书汉天子，说：“我们接连被匈奴侵伐削弱，我愿意把国中一半的精兵共有五万人马都拿出来，尽全力反击匈奴，希望汉天子派兵，救救公主！”在本始二年，汉朝派发大批关东的精兵强将，选拔各郡国三百石以上的将吏，凡勇敢强健，善于骑射的，一律从军。任命御史大夫田广明为祁连将军，率领四万多骑兵，从西河郡出发；派度辽将军范明友率三万多骑兵，从张掖出发；派前将军韩增率三万多骑兵，从云中郡出发；任命后将军赵充国为蒲类将军，率三万多骑兵，从酒泉出发；任命云中郡太守田顺为虎牙将军，率三万多骑兵，从五原出发：一共派出五位将军，十多万骑兵，从边塞出发分别行军二千多里。以及出使护卫公主的校尉常惠从乌孙西域发兵，乌孙昆弥亲自率领翕侯以下的五万多骑兵从西方攻入匈奴，与五位汉朝将军一起共有二十多万军队。匈奴听到汉朝派出了大批军队，老人病弱者急急逃奔，赶着牲畜，带着财物向远处逃走了，所以五将军没有多大收获。
度辽将军范明友出边塞一千二百多里，到达蒲离候水，斩杀、俘虏匈奴七百多人，掳获马牛羊一万多头。前将军韩增出边塞一千二百多里，到达了乌员，斩杀、俘虏匈奴人，到候山才一百多人，掳获马牛羊二千多头。蒲类将军趟充国按约应当与乌孙国军队在蒲类泽围击匈奴，乌孙军队比约定日期早到并离去了，汉军没能与乌孙军队会合。蒲类将军出边塞一千八百多里，向西到了候山，斩杀、俘虏匈奴人，共获得单于使者蒲阴王以下三百多人，掳获马牛羊七千多头。听说匈奴人已逃走了，这几位将军都没按约定的H期先回来了。天子减轻他们的罪过，宽恕而不惩罚他们。祁连将军田广明出边塞一千六百多里，到达了鸡秩山，斩杀俘虏匈奴十九人，获得牛马羊一百多头。路途中碰上了从匈奴回来的汉朝使者冉弘等人，说鸡秩山的西边有大批的匈奴，田广明便告诫冉弘，让他回去后说没有匈奴人，想率兵回汉朝。御史属公孙益寿劝告田广明，认为不能这样做，祁连将军田广明不听从劝告，便率军返回了。虎牙将军田顺出边塞八百多里，到达了丹余吾水边，就停住军队，不往前走了，斩杀、俘获匈奴一千九百多人，掳获马牛羊七万多头，率军队返回了汉朝。皇帝因为虎牙将军田顺没有到约定的期限便回来了，还欺骗皇帝，增加自己俘获人畜的数量；而祁连将军明知匈奴就在前边，却停住军队不向前进击，就把他们都交给狱吏审讯，后来他们自杀了。提升公孙益寿为侍御史。校尉常惠与乌孙国的军队到达右谷蠡王的王庭，俘获了单于的父辈以及嫂辈、居次、名王、犁污都尉、千长、将军以下三万九千多人，抢得马、牛、羊、驴、骡、骆驼共七十多万头。汉朝因此封常惠为长罗侯。匈奴部队连死带伤而减去的人数，以及因远途迁徙而死亡的牲畜，不可胜数。因此匈奴便衰败损耗了，十分怨恨乌孙国。
那年冬天，单于亲自率领一万骑兵攻打乌孙国，稍微抓获了一些老弱之人，便想回军。这时正巧天降大雪，一天下一丈多深，部众及牲畜冻死了很多，活着回来的不到十分之一。于是丁令国乘匈奴衰弱从北边攻打它，乌桓国从束边攻打它，乌孙国从西边攻打它。这三个国家共杀死匈奴几万人，抢夺了几万马匹，以及很多牛羊。再加上饿死了许多，匈奴的人民死了有十分之三，牲畜死了有十分之五，匈奴国势大衰，那些匈奴的附属国纷纷背叛离去，互相攻伐侵扰，没人治理。后来汉朝派出三千多骑兵，分为三路，一起攻入匈奴，抓获俘虏了几千人回来。匈奴最终也不敢报复汉朝以抵偿损失，衹是更加想与汉朝和亲，而汉朝边境从此也平静少事了。
壶衍千单于在位十七年死了，他的弟弟左贤王继立为单于，这就是虚闾权渠单于。这一年是地节二年。
虚闾权渠单于继位后，把右大将的女儿立为辟氏，废黜了已故单于宠幸的颛渠阙氏。颛渠板氏的父亲左大且渠十分怨恨。那时因为匈奴不敢再来侵掠边境，因此汉朝放弃了边塞上的城池，让在那里防守的百姓得以休养生息。单于听说这事后高兴了，把匈奴贵人召来商议，想与汉朝和亲。左大且渠心中妒忌这事，便对单于说： “以前汉朝派使者来，军队紧跟着就开来攻打我们。现在我们也可以仿效汉朝那样出动军队，而先派使者去朝拜汉天子。”于是就向单于要求允许自己与呼卢訾王分别率领一万骑兵向南方沿着汉朝的边塞打猎，碰面后一起攻入边塞。还没走到边塞，正巧有三个匈奴骑兵逃走投降了汉朝，说匈奴要来入侵了。于是汉天子便下诏令派边塞上的骑兵驻扎在要害地方，派大将军军监治众等四人率领五千骑兵，分做三路，分别出边塞几百里，各抓获匈奴几十人回来了。当时匈奴逃走了三个骑兵，便不敢入侵边塞，率军退去了。这一年匈奴闸饥荒，百姓、牲畜死去的有十分之六七。匈塑又派发两屯各一万骑兵防备汉军的攻击。这年秋天，以前归属匈奴的居住在左部地带的西吗部落，从他们的君主往下的几千人一起驱赶着牲畜逃离匈奴，舆匈奴在瓯脱地区打起来，战斗中死伤许多人，便向南投降了汉朝。
第二年，西域各国的军队一起攻打匈奴，攻占了车师国，俘获了车师国王和部众离去了。单于又任命车师工的弟弟兜莫为车师王，收集剩余的部众向东迁徙，不敢再居住在原来的地方。而汉朝则进一步派遣屯田的士兵分别在车师各地屯田，充实那裹的力量。第二年，匈奴因为怨恨西域各国一起攻打车师，便派遣左、右大将分别率领一万骑兵在右地屯田，想以此压迫并侵扰乌孙和西域各国。二年以后，匈奴派左右奥鞑分别率领六千骑兵，与左大将一起再次攻打在车师城屯田的汉军，没能攻取。第二年，了令国连续三年频繁地入侵匈奴，杀掠匈奴几千人，赶走马匹牲畜。匈奴派一万多骑兵去攻打丁令国，没有什么收获。第二年，单于率领十多万骑兵沿边塞打猎，想伺机入侵边塞。还没走到，正巧匈奴人题除渠堂投降了汉朝，说明了情况，汉朝封他为言兵鹿奚卢侯，派后将军赵充国率领四万多骑兵驻扎在沿边塞的九个郡，以防备匈奴人。一个多月后，单于病得吐了血，因而匈奴不敢入侵，回去了，汉朝也撤回了军队。匈奴就派题王都犁胡次等人来汉朝，请求与汉朝和亲，还没有回去报告消息，正巧单于死了。这一年是神爵二年。