御史大夫的部队到达了追邪径，没有遇见匈奴人，便回来了。匈奴派大将与李陵一起率领三万多骑兵追击汉军，到浚稽山包围了汉军，双方反复交战九天，漠军冲锋陷阵，打退敌人，杀死了大批匈奴人。到了蒲奴水，匈奴作战不利，便退去了，
重合侯莽通率领的军队到达了天山，匈奴派大将偃渠与左呼知王、右呼知王率领两万骑兵拦截汉军，见汉军强大，率军退去了。重合侯没有什么得失。这时候，汉朝怕车师的部队拦截重合侯，便派闽陵侯率领军队包围了车师城，攻破城后完全俘获了车师的王和部众归来了。
贰师将军李广利快出边塞的时候，匈奴派右大都尉和卫律一起，率领五千骑兵在夫羊句山的狭隘处拦截攻击漠军。贰师将军派自己属国的二千匈奴兵与卫律交战，卫律的士兵溃散了，死伤了几百人。汉军乘胜追击逃跑的敌人，追到了范夫人城，匈奴人纷纷逃走，没人敢抗拒汉军。正巧造时贰师将军的妻子、儿子犯巫蛊事被收捕了，李广利听说后十分担忧害怕。李广利的掾吏胡亚夫也因为逃罪而在军队中，他劝说李广利道：“一个人的家室子女都被官吏收捕了，要是他回去后不能如愿解救他们，却正好与他们在狱中相会，那时候，再想见到郅居以北的地方还可能吗？”因此贰师将军犹豫不决，想深入匈奴，取得战功，于是便率军向北进发，到了郅居水边。匈奴人已经逃去了，贰师将军便派护军率领二万骑兵渡过郅居水。有一天，碰上了左贤王和左大将，率领二万骑兵与漠军交战了一天，汉军杀死了左大将，匈奴人死伤惨重。汉军长史与决眭都尉辉渠侯商议道：“李将军有了二心，他是想让大家处于危险而自己邀取功名，恐怕一定会失败。”二人商量着一起抓起李广利来。李广利听说了，便杀了长史，率领军队回到速邪乌燕然山。单于知道汉军已经很疲劳了，就亲自率领五万骑兵拦截攻击贰师将军，双方交战，死伤都很惨重。匈奴夜裹在汉军前部挖了几尺深的壕沟，从汉军背后发起猛攻，汉军大乱，溃败了，贰师将军投降了匈奴。单于一向知道李广利是汉朝的大将贵臣，便把自己的女儿嫁给他，对他的尊宠在卫律之上。
第二年，单于派使者送给汉朝书信说：“南方有大汉朝，北方有强盛的匈奴。 ‘胡’的意思是‘天之骄子’，不为小的礼节自寻烦恼。现在我们想与汉朝大开边界，娶汉朝的女儿做妻子，每年汉朝送给我们一万石酒，五千斛粮食，各种布绢一万匹，其他方面像以前约定的那样，那么我们就不侵扰汉朝边界了。”汉朝派使者回报并送回匈奴的使者，单于让身边的人向汉朝使者问难，说： “汉朝，是讲礼义的国家。可贰师将军李广利说前太子起兵反叛，这是为什么呢？”汉朝使者回答道： “是有这么回事。衹是那件事是丞相个人与太子争斗，太子起兵想杀了丞相，丞相诬告太子，所以杀了丞相。这是儿子玩弄父亲的军队，按罪应当鞭打他一顿，也衹是小遇错罢了。与冒顿单于亲自射杀生父，自立为单于，娶后母为妻子相比怎么样呢？那是禽兽的行为！”单于扣留了这个使者，三年才让他回来。
贰师将军李广利留在匈奴一年多了，卫律对李广利受宠十分忌妒，正巧单于的母亲病了，卫律命令匈奴的巫者，让她说已故单于发怒了，说：“我们过去祭兵，经常说抓住贰师将军要把他杀了祭祀宗庙，现在抓到了，为什么不用他祭庙？”因此单于便收捕了贰师将军，李广利大骂道：“我死了一定要让匈奴毁灭！”于是便杀了贰师将军祭庙。正巧匈奴连着下了几个月的大雪，牲畜都冻死了，人们也害瘟疫得病，庄稼不能成熟，单于害怕了，便为贰师将军李广利建立了祭祀的庙祠。
自从贰师将军覆没于匈奴，汉朝损失了大将军和士兵有几万人，因此没有再出兵。过了三年，漠武帝死了。在这以前，汉军深入匈奴，苦苦追击匈奴二十多年，匈奴人怀孕的流产，家庭破败，十分厌苦这种生活。从单于往下的人都希望与汉朝和亲。
又过了三年，单于想请求与汉朝和亲，正巧得病死了。当初，单于有一个异母弟做左大都尉，很贤明，匈奴人都很敬佩他。单于的母亲怕单于不立儿子而立左大都尉，便私下派人杀了左大都尉。左大都尉的哥哥对此十分怨恨，便再也不肯参加单于王庭的朝会。另外，单于快病死的时候，对匈奴贵人们说： “我的儿子太小，不能治理国家，立我弟弟右谷蠡王为单于。”等到单于死后，卫律等人与颛渠板氏商议，把单于的死隐瞒起来，假托单于的命令，与匈奴贵人饮酒盟誓，改立颛渠辟氏的儿子左谷蠡王为壶衍鞑单于。这一年是始元二年。
壶衍千单于继位后，暗示汉使者说想和汉朝和亲。匈奴左贤王、右谷蠡王因未被立为单于，十分怨恨，想率领自己的部众归降汉朝。恐怕自己到达不了汉朝，就胁迫卢屠王，要他和自己一起投降西方的乌孙国，商议攻击匈奴。卢屠王告发了这事，单于便派人查问，右谷蠡王不认罪，反而把罪名推到卢屠王身上，匈奴的人们都认为卢屠王冤枉。于是左贤王、右谷蠡王便回到了自己的地方，再也不肯到单于的龙城去了。
二年后的秋天，匈奴侵入代郡，杀了都尉。单于年轻，又刚刚继位，他的母亲行为不正，国内人心涣散，常常害怕漠军来袭击他们。于是卫律便给单于出主意“挖凿水井，修筑城池，盖高楼用来藏储谷物，与以前逃入匈奴的秦人的子孙一起守卫。汉军即使攻来，对我们也无可奈何。”于是就挖了几百眼井，砍伐了数千棵木材。有人说匈奴人不能固守城池，这样做是送粮食给汉朝军队，卫律便停止了，又出主意放归不肯投降的汉朝使者苏武、马宏等人。马宏以前与副光禄大夫王忠出使西域诸国，被匈奴人拦截，王忠战死了，马宏被活捉，也不肯投降。所以匈奴放这二人回汉朝，想让他们带去匈奴和解的好意。这个时候，单于继位巳三年了。
第二年，匈奴派发左部与右部的二万骑兵，编为四队，一起侵入边境进行骚扰。汉军追击他们，杀死、俘获了九千人，活捉了瓯脱王，汉朝没有什么损失。匈奴见瓯脱王被俘在汉朝，担心汉朝会让他引路来袭击自己，于是便向西北远远地迁去，不敢再向南随水草放牧，并派人在瓯脱驻防。第二年，又派九千骑兵驻扎在受降城以防备漠军，在北边的余吾水上架桥，使人可以渡过，以预备在危急的时候可以逃走。那个时候，卫律已经死去。卫律活着时，经常谈论与汉朝和亲的好处，匈奴人不相信，等卫律死后，匈奴军队多次被围困，国家更加贫穷。单于的弟弟左谷蠡王回想卫律说的话，觉得有道理，便想与汉朝和亲，又担心汉朝不肯，所以自己也不愿先说，经常让身边的人旁敲侧击，与汉朝使者谈论此事。然而对汉朝边境的侵扰更少了，对待汉朝使者更礼遇优厚，想以此慢慢地与汉朝和亲，汉朝也对其采取怀柔政策。后来左谷蠡王死了。第二年，单于派犁污王偷偷查看汉朝边界，回来后报告单于说酒泉、张掖的汉军更薄弱了，如果派军队去攻击，也许有希望再收复那些地方。当时汉朝先得到了投降的人，知道了匈奴的计谋，汉朝天子下诏命令边境上的漠军警惕匈奴入侵。后来不久，匈奴右贤王、犁污王率领四千骑兵分作三队，侵入曰勒、屋兰、番和。张掖太守、属国都尉派军队攻击匈奴，大败敌人，匈奴得以逃脱的衹有几百人。属国千长义渠王的骑士射杀了犁污王，汉朝赐给他黄金二百斤，马二百匹，就封他做了犁污王。属国都尉郭忠被封为成安侯。从此以后，匈奴人不敢侵入张掖了。