天汉元年(前100)拜中郎将。当时中原地区的汉朝和西北少数民族政权匈奴的关系时好时坏。公元前100年，匈奴政权新单于即位，汉武帝为了表示友好，派遣苏武率领一百多人，带了许多财物，出使匈奴。不料，就在苏武完成了出使任务，准备返回自己的国家时，匈奴上层发生了内乱，苏武一行受到牵连，被扣留下来，并被要求背叛汉朝，臣服单于。

最初，单于说许以丰厚的奉禄和高官，但苏武严辞拒绝了。匈奴见劝说没有用，就决定用酷刑。当时正值严冬，天上下着鹅毛大雪。单于命人把苏武关进一个露天的大地穴，断绝提供食品和水，希望这样可以改变苏武的信念。时间一天天过去，苏武在地窖里受尽了折磨。渴了，他就吃一把雪，饿了，就嚼身上穿的羊皮袄，冷了，就缩在角里与皮袄取暖。过了好些天，单于见濒临死亡的苏武仍然没有屈服的表示，只好把苏武放出来了。单于知道无论软的，还是硬的，劝说苏武投降都没有希望，但越发敬重苏武的气节，不忍心杀苏武，又不想让他返回自己的国家，于是决定把苏武流放到西伯利亚的贝加尔湖一带，让他去牧羊。临行前，单于召见苏武说：“既然你不投降，那我就让你去放羊，什么时候这些公羊生了羊羔，我就让你回到中原去。”

与他的同伴分开后，苏武被流放到了人迹罕至的贝加尔湖边在这里，单凭个人的能力是无论如何也逃不掉的。在求困匈奴期间，苏武忍受了种种折磨，包括监禁、毒打、流放，又经过了种种利诱的考验，但苏武始终坚贞不屈。大汉的节杖，始终被他紧紧握在手中。苏武一个人并不能代表什么，但他投降与否，象征着国家的荣辱。匈奴只好派出汉朝最著名的降臣李陵作为说客。但是，他拒绝了李陵的请求，每天拿着这根使节放羊，心想总有一天能够拿着回到自己的国家。渴了，他就吃一把雪，饿了，就挖野草逮兔子，冷了，就与羊取暖。这样日复一日，年复一年，使节上挂着的旄牛尾装饰物都掉光了，苏武的头发和胡须也都变花白了。

在贝加尔湖，苏武牧羊达十九年之久，十九年来，当初下了命令囚禁他的匈奴单于已去世了，就是在苏武的国家，老皇帝也死了，老皇帝的儿子继任皇位。这时候，新单于执行与汉朝和好的政策，汉昭帝立即派使臣把苏武接回自己的国家。

后来，汉朝使者到了匈奴地区，终于得知苏武依然健在，于是扬言说，汉朝的天子在上林苑中射到一只大雁，雁的脚上系着帛书，帛书中清楚地写着苏武在北方的沼泽之中。单于只好把苏武等九人送还。

在昭帝始元六年，即公元前81年，苏武终于回到了长安。

他回国的时候，尽管功勋卓著，声名赫赫，但因他已是六十岁的老人，把持朝政的霍光只授予了他典属国的职位。这个职位在秦朝时还比较重要，负责对外的事宜，但后来权力逐渐转移到大鸿胪寺手上，在苏武担任典属国的时候，主要只负责藩属国的一些礼仪。

这也是汉廷让苏武颐养天年的一种方式，然而在他回国的第二年，就发生了一幕惨剧。左将军上官桀父子与御史大夫桑弘羊、燕王刘旦、鄂邑公主等人意图谋反，准备推翻汉昭帝和霍光。这次谋反被扼杀在萌芽种，但苏武的儿子苏元参与其中而被处死，苏武归汉后立即尝到了白发人送黑发人的苦楚。

当时有人甚至建议连苏武一同诛杀，按照汉朝法令，谋反者族诛，这一点都不过分。然而，在关键时候，霍光最终做出了闪耀人性光辉的决定。他抛弃了仇怨，念及苏武对国家的忠诚，只将他贬官。

汉宣帝继位后，对于霍光执政时期的政策进行了清算，也重新启用了苏武。此时的苏武已经年近七旬，汉宣帝以重臣之礼相待，赐予了数不尽的珍宝。然而，苏武无欲无求，将这些赏赐都分给弟弟和其他亲人。