汉武帝时候，
因为汉和匈奴关系非常紧张，两边相互派遣使者打探情报，又相互扣留对方的使者。汉使路充国等被扣留在匈奴，匈奴也有一批使者被软禁在长安。
公元前100年，匈奴鞮侯单于即位，为了缓和跟汉的关系，也为了刺探汉的虚实，单于宣称汉是“丈人之国”，把路充国等人都放了回去。这一招满足了汉武帝的虚荣心，武帝痛快地表示愿意跟匈奴和好。他当即指派苏武以中郎将的身份持节出使匈奴，一来把扣留的匈奴人都送回去，二来带去丰厚的礼品，希望跟匈奴达成友好约定。
苏武带着两个副手和一干随从北上匈奴。这两个副手一个叫张胜，一个叫常惠。他们来到匈奴，向单于献上礼品，没想到单于竟是个不冷不热的态度。原来，这单于看见汉朝皇帝这么巴结自己，觉得主动权在自己一方，所以就趾高气扬起来。他让人把礼品收了，又安排苏武等人住下，便再也没给回话。苏武为了完成使命，只好先在匈奴留下来。
这时候，发生了一件意想不到的事情。有个叫卫律的人，原先是汉朝的使者，后来投降匈奴，被封为丁灵王。卫律有个手下叫虞常，十分看不惯卫律的变节行为，一心想杀掉卫律，再回长安。他跟匈奴缑王合谋，要发动兵变，把单于的母亲绑架到长安去。正在他们紧锣密鼓地策划的时候，苏武等人来了。虞常跟张胜原先是好朋友，异乡相见，不胜唏嘘。虞常把自己的计划对张胜兜了底，张胜表示赞赏，还送给虞常许多钱物。
不久，机会来了。单于外出打猎，只有阏氏等留在王庭。虞常等人决定马上发动叛乱，杀掉卫律。可就在这时，他们内部出了奸细，有人连夜向王庭报告了计划内容，致使虞常等人还没行动就被匈奴军队团团包围，缑王被杀，参与兵变的人如数被剿灭，虞常也被活捉了。
张胜知道了这件事，心里害怕得很，就去找苏武商量。苏武得知情况后，面色马上沉重起来。他说：“这事很有可能连累到我们，闹不好还会被匈奴人处死。我不怕死，但我觉得自己有愧于国家。”他说着说着，忽然拔出剑来要自杀。张胜、常惠看见赶紧冲上去死死抱住，夺下剑来。常惠说：“咱们先看看事态怎么发展再说，但愿虞常不会供出张胜。万一是祸躲不过，我常惠陪您一起死。”
这一夜，三人谁也没睡好。
就在苏武等人夜不能寐的时候，丁灵王卫律也在严刑拷问虞常。虞常吃不住打，供出了张胜。卫律把这个情况报告给单于，单于十分恼怒，马上召集匈奴贵族们前来商议，打算杀掉汉使苏武等一干人。左伊秩訾王不同意这么做，他说：“叛军只不过想杀死丁灵王，并没有对单于本人不利，就不要用极刑了。我看苏武等人也是人才，不如招降他们，为我们所用。”单于就派卫律去召苏武等人进见领罪。
卫律来到苏武的帐中，说明来意。苏武长叹一声，说：“我这一去，必然受辱。我并不怕死，可我是汉的使臣；使臣被欺，损害的是汉的尊严；纵然我死里逃生，又有什么脸面回到长安？也罢！也罢！”苏武拔出佩刀，朝自己腹部狠狠刺去，这回常惠没有来得及拦住，是卫律反应敏捷，上前一把抱住苏武，握紧他的手，然后大声唤人前来保护好苏武。卫律骑快马把匈奴王庭最好的医生找来，经过一番折腾，苏武才有了气息。看见苏武活过来了，常惠等人喜极而泣，卫律也松了一口气，回去报告单于。
单于听说了事情的经过，说：“没想到，汉使是个有勇气的人！就让他先养伤吧，一定要好生照料。先把那个张胜抓起来。”
过了些日子，苏武的伤势调养得差不多了，卫律召他前去旁听审判虞常。卫律宣读判决说：“虞常发动叛乱，当斩。”然后拔剑杀死了虞常。又对张胜说：“张胜参与谋杀单于近臣，当斩。如果投降就可免死。”张胜听完，犹豫不决。卫律就挥起宝剑要刺，张胜大叫：“我投降！”卫律的剑放下，张胜偷偷看了苏武一眼，苏武正仰着头，没有看他。他满脸羞愧退到一边去了。
卫律来到苏武面前，说：“你的部属犯罪，你应当连坐。”苏武冷冷地说：“我没参与谋划叛乱，又跟这位张先生非亲非故，凭什么让我连坐？”卫律拿起宝剑做出要杀苏武的样子，苏武面不改色，往前迎了一步，把卫律的剑逼落下来。卫律扔掉剑，对苏武说：“苏先生，咱们都是汉人，今天我就跟您说说交心的话。单于是个赏识人才的人，我投靠他这些日子，已经钱财巨万，马牛满山，王位坐得何其舒服！你要是也愿意为单于做事，今天的我就是明天的你呀！”
苏武冷笑一声，一言不发。
卫律又拉拢感情，对苏武说：“今天你就听我一句，投降了单于，我跟你结为兄弟，共享荣华富贵。你要是不听好人言，只怕以后想见我也见不到了。”
苏武一肚子怒气再也按捺不住，指着卫律的鼻子大骂：“你是个背主求荣的小人，我躲都躲不及，怎么会想见你？你以为你的心思我不知道吗？你说单于厚待你，那你就尽心尽力辅佐单于呀！你为什么总是挑起两国战争，陷两国人于水火？杀死汉使的后果你是知道的：南越、大宛、朝鲜等国，都因为杀掉汉使而灭亡，匈奴不曾经历过，不知其中的利害，可你卫律也不知道吗？你明知我不会投降，还这样逼我，不就是为了以我为祸端发动战争吗？玩火者必自焚，你要好好想清楚！”
卫律见苏武软硬不吃，一时没有法子，只好禀告单于。单于说：“这个人有骨气！他越是不投降，我越是想征服他！去，把他关进地洞里，不给他吃，不给他喝，我看他怎么硬得起来！”
苏武握着旄节，趴在幽深冰冷的地窖里。几天不吃不喝，他的身体极度虚弱。这时候，老天下了一场大雪。纷纷扬扬的雪花落进地窖里，铺在地上和苏武的身上。苏武看到雪，想哭又无泪可流。他抓一把雪放进嘴里。这北国的雪花化成甘露，滋润了他的嘴唇和心灵，使他恢复了勇气。他撕破毛毡，和着雪水一齐咽下。他不要死，他要活，他的热血是舀不干的水，他的信心是扑不灭的火！
苏武被关在地窖里十多天，靠吃毡饮雪活了下来。单于听说苏武没吃没喝居然没死，大为讶异，觉得苏武是有神明庇佑。单于发了怒，把苏武放逐到北海（现在俄罗斯境内的贝加尔湖）边去放羊。匈奴人交给苏武的羊全是小公羊。单于转告苏武说：“什么时候小公羊下了奶，什么时候放你回汉。”苏武的随从常惠由于坚决不投降，也被关押在另一个地方。辽阔的北海边上，苏武孤零零地握着旄杖放羊。
北海寒风凛冽，荒芜人烟，只有深不可测的湖水和看不到头的原野，还有一群终日沉默着吃草的羊。粮食补给很少，苏武常常饿了几天，才抓到一只野鼠、采好一把草籽充饥。他那象征汉使职责的旄杖，因为长久磨损，已经破旧不堪，连旄上的的毛都掉光了。苏武常常望着长安的方向，一坐就是老半天。
一天，投降匈奴的前汉将李陵，也是苏武的好朋友，前来拜访苏武。李陵是在苏武出使的第二年兵败被俘、投降匈奴的。两人相见，对面坐着沉默了好久，最后李陵打破僵局说：“你知道我是来做什么的吧。单于赏识你，让我来请你投降匈奴。但我必须先告诉你两个不好的消息：您家老夫人已经病逝了，我也参与了送葬——唉，别太难过，老人家走得很安详。还有……您的妻子等不到您回去，也趁早改嫁了。这还是我在长安时候的事，离现在也有十多年了。十多年物是人非，你又何必苦苦执着？——你不要只顾哭，比比看我吧！我的情况有多惨，想必你也有耳闻：汉皇杀了我的母亲妻子，还灭了我们全家。他现在年老昏聩，已经平白无故害死了数十位大臣。请你听我一句吧，别再犹豫了，你无老无小，无牵无挂，择木而栖正是大好时机呀。”
苏武擦去眼泪，平静地说：“我已经没想那么多了。我们家不像你们家，有赫赫战功，飞将军李广的威名雄镇天下。我们苏家无才无德，靠皇上的恩惠才得到今天的地位。我是大汉的儿女，大汉让我死，皇上让我死，我没有怨言，心甘情愿去死。投降的话，请您不要再说了。”
李陵劝服不了苏武，跟苏武喝了几杯酒，便凄楚地起身告辞——他知道以后很难再跟苏武见面了。临走时他说：“也许真的是我错了吧，我的罪过是不是不可饶恕？”说完，李陵头也不回地走了。
苏武牧羊的第十三个年头上，李陵派人传信给苏武，说他看到云中郡的太守和军民都穿上了白衣，皇帝可能已经驾崩了。
苏武听了这个消息，眼前一黑，“哇”地吐出一口血，昏倒在地上。从那以后的几个月，他每天朝着南方以泪洗面。
北海边上，每一天都那么艰苦漫长。可是苏武硬生生熬过了十九年。后人把他的事迹编成歌唱道：
苏武留胡节不辱，雪地又冰天，苦忍十九年。
渴饮雪，饥吞毡，牧羊北海边。心存汉社稷，旄落犹未还。
历尽难中难，心如铁石坚。夜坐塞上时闻笳声入耳痛心酸！
