第二年的春天，汉朝派卫青率领六位将军和十多万军队从朔方、高阙出发，攻打匈奴。匈奴右贤王以为选军来不了，喝醉了酒。漠军出塞六七百里，连夜包围了右贤王。右贤王大惊，脱身逃走了，匈奴的精锐骑兵大都随之逃走。汉朝将军俘获了右贤王的部众男女共一万五千人，裨小王十多人。那年秋天，匈奴一万骑兵侵入代郡，杀死都尉朱央，掠走一千多人。
第二年的春天，汉朝又派大将军卫青统率六位将军，十多万骑兵，仍从定襄出发，走了几百里，去攻打匈奴，前后共杀死匈奴一万九千多人，而汉朝也损失了二位将军，三千多骑兵。右将军苏建只身逃脱，而前将军翕侯赵信作战不利，投降了匈奴。趟信原来就是匈奴的一个小王，投降汉朝后，汉朝封他为翕侯，他做为前将军与右将军苏建合兵一处，单独碰上了单于的大部队，所以全军覆没。单于得到了翕侯，封他为仅次于单于的自次王，并把自己的姐姐嫁给他，与他一起商议如何对付汉朝。趟信教单于更往北去，越过大沙漠，以引诱拖垮汉军，致使汉军疲劳已极再去攻打，不要靠近边塞。单于听从了赵信的建议。第二年，匈奴几万骑兵侵入上谷，杀死几百人。
第二年春天，汉朝派骠骑将军霍去病统率一万骑兵从陇西出发，越过焉耆山一千多里，消灭匈奴八千多人，夺到了休屠王的祭天金人。那年夏天，骠骑将军霍去病又与合骑侯一起率领几万骑兵从陇西、北地出发，行军二千里，经过居延，攻打祁连山，消灭匈奴三万多人，裨小王以下十多人。那时，匈奴也侵入代郡、雁门郡，杀掠几百人。汉朝派博望侯张骞和李广将军从右北平出发，攻打匈奴左贤王。左贤王包围了李广，李广率领的四千汉军死者过半，杀死的敌人也超过了自己牺牲的人数。正好博望侯的救军来到，李将军才得脱身，军队都死完了。合骑侯公孙敖误了与骠骑将军霍去病约定的日期，他和博望侯张骞都应当被判处死刑，用爵位赎罪做了平民。
那年秋天，单于对驻扎在西方的昆邪王、休屠王被漠军消灭俘虏几万人造件事很生气，想把他们叫来杀掉。昆邪王、休屠王害怕了，商议投降汉朝，汉朝派骠骑将军前去迎接他们，昆邪王杀了休屠王，率领他的部众一起投降了汉朝，共有四万多人，号称十万人。这时汉朝得到昆邪王投降后，于是陇西、北地、河西这些地方受匈奴侵掠更少了，便把关东的贫民迁到所夺得的匈奴河南新秦中地区居住，以充实边疆，而把驻守北地以西地区的军队减少了一半。第二年春天，匈奴又分别以几万骑兵侵入右北平、定襄两郡，杀掠一千多人。
第二年春天，汉朝君臣商议：“翕侯赵信给单于献计谋，迁居到大漠以北，认为汉军攻不到那裹。”于是便用粮食喂马，出动十万骑兵，另有自带衣粮马匹志愿从军的共十四万人，运粮食的车马没有计算在内。命令大将军卫青、骠骑将军霍去病各领一半部队，卫青从定襄出发，骠骑将军从代地出发，共同约定越过大漠攻打匈奴。单于听说这事，便把辎重粮草运到远方，率精兵在漠北迎战。与汉朝大将军卫青交战一天，正好天黑了，刮起了大风，汉军出动左右两翼军队包围了单于。单于自料打不过汉军，便单独与几百精锐骑兵一起突破漠军的包围，向西北逃走了。汉军连夜追击，没有抓到单于，追击途中俘虏、消灭匈奴一万九千多人，向北一直打到真颜山赵信城才回来。
单于逃走时，匈奴兵常常与汉军混在一起追随着单于。单于很长时间没有能够与自己的大队人马相遇，右谷蠡王以为单于死了，便自立为单于。真单于后来又收集了自己的部众，右谷蠡王才去掉单于称号，恢复原来的称号。
骠骑将军霍去病从代地出发，向北跨过二千多里，与左贤王交战，汉军斩杀俘虏匈奴共七万多人，左贤王和部将都逃走了。骠骑将军在狼居胥山上筑坛祭天，在姑衍山上辟场祭地，到达翰海才回军。
此后匈奴逃得远远的，而漠南也就没有了单于王庭。汉人渡过黄河，从朔方往西直到令居，到处修渠开田，设置官吏，官吏、士兵有五六万人，慢慢蚕食匈奴地盘，土地连接到匈奴旧地以北。
当初，汉朝卫青、霍去病两将军出兵围攻单于，杀死、俘获匈奴八九万人，而汉朝士兵死亡的也有几万人，汉军战马死去十多万匹。匈奴虽然疲惫，逃得远远的，而汉军马匹缺乏，也无法追击。单于采纳趟信的建议，派使者来说好话请求和亲。皇帝把这事下交给大臣们商议，大臣们有的说应该与匈奴和亲，有的说应该让他们称臣。丞相长史任敞说： “匈奴新败，困乏疲惫，应该让他们做外臣，到边塞地带朝拜汉朝天子。”汉朝派任敞出使到单于那裹，单于听说任敞的主意后，大发怒火，把任敞扣留，不让他回去。在此之前汉朝也招降了一些匈奴使者，单于也总是扣留汉朝的使者相抵偿。汉朝正在调集兵马，正巧骠骑将军霍去病死了，因此汉朝很久没有向北方攻击匈奴。
几年后，伊稚斜单于死了，在位十三年。他的儿子乌维继位做了单于。这年是元鼎三年。乌维单于继位后，汉武帝开始巡视各郡县。后来汉朝去讨伐南方的两越，没有攻击匈奴，匈奴也没有入侵边境。
乌维单于继位三年后，汉朝消灭了两越，便派遣原太仆公孙贺率领一万五千骑兵出九原二千多里，到达浮苴井，派遣从票侯趟破奴率领一万多骑兵出令居几千里，到达匈奴河水，两路军队都没有遇见一个匈奴人，就回来了。
这时候汉武帝巡视边境，亲自到达了朔方城，统率十八万骑兵，以显示军威，同时派郭吉为使者去劝告单于。到达匈奴后，匈奴负责接待客人的官员询问郭吉出使的使命是什么，郭吉谦卑地说好话道：“我想见了单于的面再亲El告诉他。”单于便接见了郭吉，郭吉说道：“南越王的头颅已经悬挂在汉朝皇宫的北门下了，假如现在单于您能够前去与汉兵交战，那么汉朝天子正率兵在边境等候；假如你不能前去，就应该面向南方向汉朝称臣。何必衹是一味地向北逃跑，躲藏在大漠北边寒冷凄苦、没有水草的地方呢？”郭吉说完后，单于大怒，立即把负责接待的礼宾官给杀了，并把郭吉扣留下来，不放他回去，为凌辱郭吉，把他放逐到北海上。而单于到底也不敢到汉朝边境侵掠，休养兵马，练习射猎，多次派使者到汉朝，甜言蜜语请求和亲。
汉朝派王乌等为使前去窥探匈奴的虚实。匈奴法律规定，汉朝使者不放下符节，不用墨涂面的，不许入帐。王乌是北地人，了解匈奴的习俗，他去掉符节，用墨涂面，进了毡帐。单于喜欢王乌，假装答应王乌说：“我为你的缘故派太子到汉朝去做人质，以求与汉朝和亲。”
汉朝派杨信出使匈奴。这时汉朝攻取了在东方的减貉、朝鲜，做为汉朝的郡；在西部设置了酒泉郡来隔绝匈奴与羌人交通的道路。汉朝又与西部的月氏、大夏交通，把公主嫁给乌孙王，以分化匈奴在西方的做为后援的友好国家。又向北进一步扩垦农田，一直到眩雷，做为汉朝的边塞，对这些匈奴始终不敢说什么。这年，翕侯趟信死了，汉朝执政者认为匈奴已经衰弱，可以让它臣服。杨信为人刚强正直倔强，向来不是显贵大臣，单于对待他不亲热。匈奴单于想召他进帐，杨信不肯去掉符节，于是单于只好在帐外接见杨信。杨信劝告单于说：“如果您打算与汉朝和亲，就把太子送到汉朝去做人质。”单于说：“这不是原先我们的盟约裹规定的样子。原来的盟约规定，汉朝要常嫁公主给单于，送给我们一定数额的绸绢、丝棉、食物来和亲，而匈奴也不再去侵扰汉朝的边境。现在你们却要一反以往的规定，要我的太子去汉朝做人质，看来和亲没什么希望了。”匈奴的习惯作法是：见到使者不是汉皇帝宠爱的宦官，而是儒生，便认为是来游说的，就驳斥他们辩论的言辞；如果是年轻人，便认为是前来行刺的，就挫掉他的锐气。每次汉军进入匈奴，匈奴都要报复。汉朝扣留匈奴使者，匈奴也要扣留汉朝的使者，一定要双方对等才罢休。