虞常经不住严刑拷打，招出了汉朝使团中的张胜与此事有关。匈奴单于大怒，以为所有的汉朝使者都通谋叛乱，于是下令将苏武一行扣押起来。单于召集贵族会议，会上通过意见：迫使汉使投降。单于派汉朝降臣卫律招降汉使。苏武对常惠等随员说："屈节辱命，即使活着，又有什么脸再回归汉朝!"遂拔刀自杀。卫律惊恐，急忙上前抱住苏武，并令人飞马去召唤医生。常惠等人见苏武昏死过去，号啕大哭。后来，苏武被抢救过来了。
单于很敬佩苏武的气节，于是派人去询问病情。待到苏武好了后，单于多次派人劝降他，但均被苏武严辞拒绝。
单于不甘心，就下令把苏武囚禁在一个地窖里，不给任何吃喝。时值隆冬季节，苏武躺在冰冷的地上饥饿难忍，便把汉节上作为信物的毛织毡毯就着雪一起吞下去，竟然熬了几天未死。单于觉得迫降无望了，就把苏武流放到空无人烟的北海去放牧公羊。
汉昭帝即位，匈奴与汉朝关系趋于缓和，汉朝乘机要求遣回苏武。几经周折，单于才答应将苏武遣送回国。公元前81年，苏武终于回到长安。
苏武守节经受了许多考验，先是卫律想治他的同谋罪，后是单于把他囚禁在一个地窖里，不给吃喝，之后又把他流放到空无人烟的北海……但苏武心系汉朝，毫不动摇。这样的节烈之士，历史上并不多见。苏武的坚贞不屈，高风亮节，受到尊崇。他那热爱祖国，不辱气节的高尚品格，成为后世学习的楷模。