苏武的伤势Et渐好转，单于派使者劝他投降，又共同审判虞常，想藉此机会迫使苏武投降。用剑杀死虞常之后，卫律说：“汉朝使者张胜谋杀单于亲近的大臣，罪当处死，不过单于招募投降的人，赦免他的罪过。”举剑要杀张胜，张胜请求投降。卫律又对苏武说： “副使有罪，你应当与他连坐。”苏武说：“我本来没有参与密谋，又不是他的亲属，为什么要与他连坐？”卫律用剑比划着要刺苏武，苏武毫不动摇。卫律说：“苏先生，我卫律从前背叛汉朝，归降匈奴，幸而承蒙单子恩德，赐给我王号，使我拥有部众数万，马畜满山，富贵如此。您今日投降，明天也会这样。否则被杀，白白葬身于荒野之中，有谁知道你为汉朝而死？”苏武不予理睬。卫律又说：“您藉助我而投降，我与您结为兄弟；今天不听我的话，以后再想见到我，还有可能吗？”苏武痛斥卫律说：“你作为汉朝臣民，不顾恩义廉耻，背叛皇帝和亲人，投降蛮夷，我见你干什么？况且单于信任你，让你裁决人的生死，你却不出于公心，主持平正，反而要使两国之主相互争斗以坐观双方混战所造成的祸乱。南越杀汉使者，被夷平成为汉朝的九个郡；大宛王杀汉使者，他的头颅已被悬于汉宫之北阙；朝鲜杀汉使者，立即遭到减顶之灾。惟独匈奴未发生这种事。你明知我不投降，如果想让两国相攻伐，匈奴的祸败将从杀我开始。”
卫律知道最终不能威胁苏武投降，就把情况汇报给单于。单于越发想使苏武投降，便把他囚禁在大窖襄，断绝向他供应饮食。天降大雪，苏武就卧在地上，吞食雪团与毡毛，得以好多没饿死。匈奴以为他是神人，就把他迁徙到北海没有人烟的地方，让他放牧公羊，直到公羊产乳生仔，才允许他回来，并把他与属吏常惠等分开，分别安置在不同的地方。
苏武被流放到北海以后，匈奴不供给他粮食，他只好挖掘野鼠所贮藏的草籽充饥。拄着汉朝节牧羊，时时刻刻把汉朝节带在身边，以致节上的旄都脱落了。过了五六年，单于的弟弟于轩王下海打猎，因苏武会制做猎网和箭缴，校正弓弩，于轩王很喜欢他，送给他衣服和食物。又过了三年多，于轩王病了，就赠送苏武牲畜、酒酪器皿和毡帐。于轩王死后，他的部众也都走了。这年冬天，丁令人偷走了苏武的牛羊，苏武再一次陷入了困境。
起初，苏武与李陵同在汉朝任侍中，苏武出使匈奴的第二年，李陵投降匈奴，不敢求见苏武。过了很长时间，单于派李陵下海，为苏武置办酒宴，陈设乐舞，趁机对苏武说：“单于听
说我与您平素交往很深，因此派我来劝您，单于将诚心待您。终究不能回到汉朝，白白地在这无人之地自找苦吃，谁能看见您的信义之心呢？从前您的哥哥苏嘉任奉车都尉，随皇帝到雍城械阳宫，扶辇下殿阶，辇撞到柱子上，折断了辕，以大不敬罪受到弹劾，拔剑自杀，皇帝赐给了二百万钱的安葬费。你的弟弟苏贤随从皇帝去河东郡祭祀上神，宦骑与黄门驸马争船，驸马被推入河中淹死，宦骑逃跑，皇帝命令苏贤追捕宦骑，没能捉住，苏贤忧虑害怕，饮药自杀。我领兵离长安时，您的母亲不幸去世，我送葬到阳陵。您的妻子年轻，听说已改嫁了。衹剩下两个妹妹、两个女儿和一个儿子，现在已过去十多年，不知是死是活。人生如同早上的露珠一样短促，何必长时间地折磨自己！我开始投降时，心神恍惚，如疯若狂，为自己背叛汉朝而痛心，加上老母亲被囚禁在保宫，您不想投降的心情怎么会超过我呢？况且皇帝年老，法令没有常规，大臣无罪而被诛减的有数十家，安危难以预料，您还为谁守节呢？希望听从我的计策，什么也别说了。”苏武说：“我们父子无功无德，都是由于皇帝的提拔，才位列将军，爵至通侯，兄弟三人都为皇帝近臣，常愿为此肝脑涂地。现在如果能牺牲自己，报效国家，即使蒙受斧钹之诛、汤镂之刑，也甘心情愿。大臣侍奉君主，如同儿子侍奉父亲，儿子为父亲而死，毫无怨恨。希望您不要再说了。”李陵与苏武宴饮了几天之后，又劝苏武：“您一定要听我的话。”苏武说： “我早已心甘情愿去死，您一定要使我投降，就请结束今天的欢宴，让我死在您面前！”李陵见他对汉朝如此忠诚，长叹一声，说：“唉，真是义士！我和卫律的罪过，比天还高啊！”随之泪如雨下，沾湿了衣襟，与苏武告别离去。
李陵羞于亲自赠送苏武财物，就派他的妻子给苏武送去几}。只牛羊。后来，李陵又到北海，告诉苏武：“匈奴边塞哨所活捉云中汉人，说上自太守下至百姓都穿白色丧服，并说皇帝死了。”苏武听到这个消息，面对南方痛哭，以致吐血，每天早晚哭吊武帝。
几个月后，昭帝即位。过了几年，匈奴与汉朝和好。汉朝寻求苏武等人，匈奴诈说苏武死了。后来漠使者又到匈奴，常惠请求看守他的人和他一起晚上去见漠使者，详细叙述了事情的经过，又教汉使者对单于说，汉朝皇帝在上林苑打猎，射下一只雁，脚上系着一封帛书，说苏武在某个大泽中。汉使者非常高兴，就按常惠所说的责问单于。单于左顾右盼，暗暗吃惊，只好向汉使者道歉说：“苏武确实活着。”这时，李陵摆设酒宴庆贺苏武，说： “您今天回去，美名传颂于匈奴，功勋显扬于汉朝，即使古代史书所载，图画所描绘的，有谁能胜过您！我李陵虽无能怯懦，假使汉朝暂且宽赦我的罪过，保全我的老母，使我能施展由于投降匈奴之耻辱而积蓄已久的志愿，或许能像曹沫那样寻找机会立功赎罪，这是我从前念念不忘的。皇帝逮捕族灭了我全家，这是世上最大的侮辱，我还有什么可留恋的？算了吧！我衹是让您知道我的心情罢了。你我各处异国，这一分手将永无相见之曰了！”李陵起身舞蹈，唱道：“驰骋万里啊横度沙漠，为皇帝领兵啊奋击匈奴。被困于狭谷啊矢尽刀折，士兵战死啊我名声扫地。老母已死，虽想报恩何处归！”李陵涕泪交流，与苏武诀别。单于召集苏武的属吏，除去已投降的和死去的，随苏武返回的总共九人。
苏武在昭帝始元六年春天回到都城长安。昭帝命令他供奉牛、羊、豕到武帝陵墓，又授予他典属国之职，官阶为中二干石，并赏赐二百万钱，公田二顷，宅地一处。常惠、徐圣、赵终根均被授予中郎之职，每人得赏赐绢帛二百匹。其余六人年老归家，每人得赏赐十万钱，免除终身徭役。常惠后来官至右将军，封为列侯，在《汉书》中有他的传记。苏武在匈奴被扣留十九年，出使时年富力强，等到返回时，已须发全白了。
苏武回来的第二年，上官桀的儿子上官安与桑弘羊及燕王、盖主谋反。苏武的儿子苏元与上官安有密谋，犯罪被杀。
起初上官桀、上官安父子与大将军霍光争权，多次逐条记录霍光的过失，送给燕王，让燕王上书昭帝，告发霍光。又扬言说苏武衹因出使匈奴二十年不投降，回来才授予典属国之职，霍光的长史杨敞没有功劳，却任搜粟都尉，霍光专权，肆意妄为。等到燕王等因谋反被杀，穷究与他们同谋的人。苏武平素与上官桀、桑弘羊有交情，燕王也曾就苏武为国立功之事多次向皇帝申诉过，苏武的儿子又参与谋反，因此廷尉上奏请求逮捕苏武。霍光把这个奏章压下，衹免除了苏武的官职。