过了几年，李广和退隐住在蓝田县的前颖阴侯的孙子灌强常到南山中打猎。曾经在一天夜裹，带着一个骑兵外出，跟别人在田间饮酒。回来到了霸陵亭，霸陵尉喝醉了，呵斥阻止李广。李广的从骑说： “这是前任李将军。”亭尉说：“现任将军尚且不能夜间通过，何况是前任的呢！”扣留李广住宿在霸陵亭下。过了不久，匈奴入侵杀了辽西太守，打败了韩将军。后来韩将军调到右北平，去世。于是天子就征调任命李广作右北平太守。李广便请求派霸陵尉跟他一起去，到达军中就杀了他。然后上书自述谢罪。皇上回答说：“将军就是保卫国家的骨干力量。《司马法》这部兵法中说： ‘登上战车不必行礼，遇到丧事，不必穿丧服，整顿抚慰军队，以征服叛逆；统一三军将士的意志，激发战士的战斗力，因此，表现出愤怒就可以震惊千里，显示出威严就可以降服万物；因此威名施于少数民族地区，神灵之威力震慑了邻国。，用愤怒铲除祸害，使之放弃残忍和屠杀，正是朕所希望将军去办的事；要是脱帽赤脚叩头谢罪，哪裹是朕的旨意呢！将军应率军束征，安定边疆，来迎接右北平金秋时节的战斗。”李广在边郡时，匈奴人给他一个“汉飞将军”的称号，一直避开李广，好几年不进入边界。
李广出外打猎，看到草丛中的石头，以为是老虎而发箭射去，射中石头，箭头射进了石头裹，走近一看，是块石头。后来又去射，却始终不能再射进去了。李广所在的郡，一听说有老虎，常常亲自去射它。到他驻守右北平时，一次射老虎，老虎跳起来，扑伤了李广，李广也射死了老虎。
郎中令石建去世了，于是皇上征召李广接替石建作郎中令。元朔六年，李广又调任为将军，跟随大将军的军队从定襄郡出击匈奴。各将领多有杀敌俘敌达到标准因功封侯的，而李广的部队没有功劳。过后三年，李广以郎中令的身份率领四千骑兵从右北平出发，博望侯张骞率领一万骑兵和李广同行，分两路走。走了大约几百里，匈奴左贤王带领四万骑兵包围李广，李广的士兵都很恐惧，李广就派他的儿子李敢快马冲击敌人。李敢独自带了几十名骑兵飞奔而去，直穿匈奴骑兵的包围圈，抄出敌军的左右两翼而回，报告李广说：“匈奴人容易对付。”士兵才安定下来。李广布成圆形阵势，面向着四外，匈奴猛攻他们，箭下如雨。汉兵死亡的超过一半，汉军的箭也快用完了。李广便命令士兵把弓拉开，不要放箭，李广亲自用大黄弩弓射敌人的副将，射死了几个，匈奴人渐渐松懈。恰巧天色黑了下来，军官士兵都面无人色，可是李广的神气同平常一样，更加精神振奋地指挥军队。军中士兵很佩服他的勇气。第二天，继续奋力战斗，博望侯的军队也到了，匈奴军队才解围而去。汉军疲乏了，不能去追击。这时李广几乎全军覆没，衹得收兵回去。按汉朝的法律，博望侯耽误了预定的日期，当处死刑，出钱赎罪，降为平民。李广的军功和罪责相当，没有封赏。
当初，李广与堂弟李蔡都任郎官，一道侍奉孝文帝。景帝时期，李蔡积累功劳领到二千石级的俸禄。孝武帝元朔年间，担任轻车将军，跟随大将军出击右贤王，有功达到了封赏的标准，被封为乐安侯。元狩二年，代替公孙弘做了丞相。李蔡为人的品格在下等之中，名声在李广以下很远，但是李广没有得到爵位和封邑，官职没有超过九卿。许多李广部下的军官和士兵有的取得了封侯之赏。李广曾经和望气家王朔闲谈说：“从汉朝出击匈奴以来，我没有一次不在其中，可是各部队校尉以下，才能不够中等人，然而因为出击匈奴的军功取得侯爵的，有几十人，而我没有落在人家的后面，可是没有些微的功劳去取得封地，是什么原因呢？难道我的生相不该封侯么？”王朔说：“将军自己回想一下，难道曾经有过悔恨的事吗？”李广说：“我曾做陇西太守，羌人曾经反叛，我引诱他们投降，投降的有八百多人，我用欺骗的手段在同一天杀死了他们。至今，最大的悔恨就衹有这件事。”王朔说：“罪过没有比杀死已经投降的人更大的丫，造就是将军所以不得封侯的原因啊。”
李广历任七个郡的太守，前后四十多年，得到赏赐立即分给部下，饮食与士兵一起。家裹没有多余财物，一生不谈购买产业的事。李广身材高大，长臂，具有善射箭的天赋，就是子孙和其他人向他学习射箭，也都赶不上他。李广讷口，不与人多说话，和别人在一起住，就在地上画作战阵图，射箭比射的面宽窄，输了罚酒喝。专门以射箭作游戏。带兵行军，遇到断粮缺水时，见了水，士兵不全喝到水，他不近水边，士兵不全吃上饭，他不尝一口饭。对待士兵宽厚不苛，士兵因此喜欢替他办事效力。他射箭，看见敌人，不到几十步之内，估计射不中就不射，一射就要应弦倒地。因此，他带兵作战，多次被敌人围困，连射猛兽，也几次被伤害过。
元狩四年，大将军和骠骑将军大举出兵攻打匈奴，李广几次自动请求前去。天子认为他老了，没有允许；过了好久，才允许他，派他担任前将军。
大将军卫青出了边塞，捉到俘虏，得知单于住的地方，就亲自率领精锐部队赶去袭击，而命令李广的部队跟右将军的部队合并，从东路出击。东路稍微迂回绕远，而大部队行经水草稀少的地方，其势不能聚集行进。李广亲自请求说：“我是部队的前将军，现在大将军却改让我从东路出兵，况且我从年轻的时候起就和匈奴作战，今天才第一次得与单于敌对，我愿意担任前锋，先同单于决一死战。”大将军卫青曾暗中受到皇上嘱咐，认为李广年老了，多次遭受窘困，不要让他正面同单于对阵，恐怕不能实现他的愿望。这时候，公孙敖新近失掉侯爵，担任中将军，大将军也想要让公孙敖和自己一同与单于对阵，所以调开前将军李广。李广当时知道这种情况，坚决向大将军拒绝调动。大将军不听，命令长史下一道文书给李广的幕府，说道： “赶快到所在军部去，照文书所说的办。”李广没有向大将军告辞就动身出发了，心裹很恼怒地去了军部，带领士兵和右将军趟食其合兵一处，从东路出发。迷失了道路，落在大将军的后面。大将军与单于交战，单于逃跑了，没能取得战果而回。大军向南度过沙漠，才遇到前将军和右将军。李广会见大将军之后，回到自己军中。大将军派长史拿着酒食送给李广，顺便问了李广、赵食其迷失道路的情况，说：“卫青要上书报告天子军中的曲折情形。”李广没有回答。大将军长史迫令李广的幕府人员写出报告，前去听审。李广说：“各校尉无罪，是我自己迷失了道路，现在我亲自上供状，听候审问。”
回到自己的幕府，李广对他的部下说：“我从年轻的时候起与匈奴大大小小经历了七十多次战斗，这一次有幸跟随大将军迎战单于的直属部队，可是大将军又调我的部队走迂回遥远的路，偏又迷失了路，难道不是天意吗？况且我年纪六十多了，毕竟不能再对付审问人员的侮辱了。”便拔出刀来自刎了。老百姓听到这件事，不论是认识的还是不认识的，不论是年老的还是年轻的，都为他流泪。而右将军赵食其单独被送交法官，判处死刑，出钱赎罪，降为平民。