李陵在匈奴待了一年多的时候，汉武帝还始终挂念着这位战功不凡的将军，想来还是有些欣赏李陵的。便派出因杅将军公孙敖带兵深入匈奴腹地，试图把李陵解救回来（这件事情粗看起来就没有多少可行性）。结果公孙敖无功而返，不过他却带回来一条重要的消息。也不知是这公孙敖不卖力专门想牺牲李陵以换得自己一时的安逸，还是确实无意中从抓到的匈奴俘虏中得到了这样一条消息：“李陵已经彻底投降了，他在帮着匈奴人练兵以防备我军！”汉武帝听后大怒，也没有细究这个问题就下令把李陵全家都给杀了，从此“陇西士大夫以李氏为愧”（带来的社会影响也很坏）。
后来，汉朝派遣使者出使到匈奴，李陵找机会问这个使者说：“我作为汉将带领五千人横行匈奴，以无救而导致最终失败，何负于汉而致使皇上杀我全家呢？”使者说：“我们听说你在教练匈奴兵”，李陵说：“那是李绪，不是我啊！”李陵真是悲哀到了极点。这李绪原本是汉塞外都尉，“居奚侯城，匈奴攻之，绪降”，他投降匈奴后也受到了单于的优待，他已经归顺了匈奴，因此常常显得比李陵尊贵。“陵痛其家以李绪而诛，使人刺杀绪”，李陵因实在气不过全家因李绪这家伙而惨死，就派人刺杀了李绪。可是，匈奴大阏氏（类似诸侯王）非常器重李绪，他也不想便宜了李陵，“欲杀陵，单于匿之北方，大阏氏死乃还”，单于非常爱护李陵，就把李陵给藏到了更偏远的北方去，直到大阏氏死后李陵才又回到匈奴王庭。
匈奴大单于非常爱重李陵，把自己的女儿都嫁给了他，并且还立他为右校王，“陵居外，有大事，乃入议”，一旦碰上什么大事单于就把李陵找来一同商议。再后来，汉武帝死了，汉昭帝即位，大将军霍光、左将军上官桀辅政，他们从前与李陵都非常亲善，也想到要把李陵从匈奴召回，“遣陵故人陇西任立政等三人俱至匈奴招陵”。使者安排的是李陵从前的朋友任立政等三人，任立政在公开场合对李陵等人说：“汉已大赦，中国安乐，主上富于春秋，霍子孟、上官少叔用事”，就是希望李陵借着这个机遇和便利返回汉朝。可是，李陵“默不应，孰视而自循其发，答曰：‘吾已胡服矣！’”，意思是看我现在这个样子哪里还有颜面回去啊！任立政又私下对李陵说：“请少卿来归故乡，毋忧富贵”，可李陵还是非常担忧地说：“归易耳，恐再辱，奈何！”
是啊，一个原想誓死效忠的臣子，结果反倒被他的主子在背后捅了刀子，这是多么让人心寒的事情啊！李陵下定了决心不再回去，他说“丈夫不能再辱”，他决定永远留在匈奴。著名作家张承志在《杭盖怀李陵》一文中深情地写道：“没有远托异乡的体验，没有怀着重归故乡时真正单纯的信念，没有在某一天突然意识到异乡的珍贵——是很难记住李陵的。”“静若处子，动如脱兔，人在不测中遭逢这种前途并不是不可能的。尤其是当他无家可归，朝廷执行不义的时候，叛变也许是悲壮的正道。”是的，前面我们说的戏曲中的杨四郞，身陷番邦，但在中原尚有老母可探；而李陵，全家被杀，汉朝与他再无血脉关联了。然而果真是这样的吗？李陵的心中没有痛楚吗？如果真的如此，为何唐代的诗人胡曾会在《李陵台》一诗中感叹“英雄不服蛮夷死，更筑高台望故乡”呢？
而当李陵昔日的朋友苏武经过十九年在匈奴的磨难、曲折后得以回归汉朝时，李陵作了这样一首歌为他送别：“径万里兮度沙幕，为君将兮奋匈奴。路穷绝兮矢刃摧，士众灭兮名已聩”。这是在感怀自己一生的际遇啊，万骨已枯，而一将名成，可是拥有这样一种令人生命中不能承受其重、哭笑不得的“名”，究竟还有什么意义呢？一千多年后，一位亦文亦武的民族英雄对此也发出了这样的悲叹：“将军百战声名裂。向河梁、回头万里，故人长绝！”（辛弃疾《贺新郎》）
后人对此事往往感到意犹未尽，于是还假托李陵的名义搞了一封《答苏武书》，背景应该是苏武回到汉朝后也劝说李陵回归，于是李陵便写了此书作答。虽然此文已被公认为后人伪做，然而其言辞感人，所以《古文观止》将其收录。其末尾如是泣血以言：
且汉厚诛陵以不死，薄赏子以守节，欲使远听之臣，望风驰命，此实难矣。所以每顾而不悔者也。陵虽孤恩，汉亦负德。昔人有言：“虽忠不烈，视死如归。”陵诚能安，言陵忠诚能安于死事。而主岂复能眷眷乎？男儿生以不成名，死则葬蛮夷中，谁复能屈身稽颡，还向北阙，使刀笔之吏，弄其文墨邪？愿足下勿复望陵……嗟乎！子卿！夫复何言！相去万里，人绝路殊。生为别世之人，死为异域之鬼，长与足下生死辞矣！幸谢故人，勉事圣君。足下胤子无恙，勿以为念，努力自爱！时因北风，复惠德音！
重要的是，虽然人人知道这篇《答苏武书》为后人托名伪作，但没有人主张在其“作者”一栏去掉李陵的名字，这何尝不值得深思？是否可以解读为历史欠了李陵的，这篇文章就当作是对李陵的补偿吧。
李陵在匈奴度过了二十多年的时光，于公元前74年病死。