过了几年，大将军李广利率领三万汉军骑兵在祁连山向匈奴右贤王发动攻击。为了分散敌军的兵力，李陵主动请战，带领五千人从居延出击，假装进攻，用来掩护 主力部队。李陵自己操练的部队都是善于射箭的步兵，他们牵引着匈奴主力部队向北迂回前进了一千多里。谁知完成任务后，李陵正准备回军，却被八万多的匈奴大 部队发现了。李陵面对强敌，毫不畏惧，率五千士兵且战且退，不分昼夜，一连苦战了八天，杀死杀伤匈奴士兵一万多人，自己一方也因众寡悬殊，武器都用尽了， 士兵也死伤过半。在距离居延还有一百多里的地方，他本来有一个机会冲出重围，返回营地，不幸的是有个名叫管敢的部将无耻地投降了匈奴，把李陵所率部队的实 际情况透露无遗。匈奴人一听便迅速包抄了汉军，把李陵率领的残余部队围困得铁桶似的，使李陵的部队陷入内绝弹粮、外无援兵的死地。一批批匈奴人围上来，大 呼小叫地逼着李陵投降。李陵人困马乏，只好泪流满面，长叹一声：“我实在无面目见陛下啊！”放下了武器，束手就擒。
对于李陵的投降，有很多说法，但不论哪一种说法，都跟汉武帝有着密切的关系。
一说李陵被匈奴俘虏后，开始并不是真心投降，而是忍辱负重，等待时机，甚至希望能像当年英雄祖父李广那样，夺马杀回汉营，再创奇迹。可惜他没有 遇到他祖父那样好的机会。汉武帝只听信大将军李广利所说：“李陵贪生怕死投降了匈奴人。”汉武帝在一怒之下下令将李陵的母亲和妻子儿女等满门抄斩。李陵见 武帝这样偏听偏信、残酷无情、翻脸不认人，便转念一想，自己既然没有了退路，干脆破罐子破摔，心一横便真的投降了匈奴人。右贤王早就听说过飞将军李广之后 李陵的门第家声，又见李陵一表人才、武艺过人，于是喜不自胜。为了笼络李陵，便把公主嫁给了他，封他为右校王，并且赐姓拓跋氏。于是李陵生活在匈奴人中的 后人，若干代都不再用汉姓李氏了，改用拓跋氏，而且一直与匈奴等少数民族通婚，成为混血的汉人了。
名将之后的李陵，仅因一念之差而沦为辱没祖先、遗臭万年的汉奸降将。李陵做了叛将后，后悔莫及，内心十分痛苦，曾多次向被扣做人质羁留在匈奴地界的汉使苏武哭诉自己有国难回、有家难归的哀伤，并伤感地写下了使后人深深感动的《答苏武书》和赠苏武的三首五言诗。
另一说法是：李陵的投降实属无奈，一方面是为了剩下的士兵的性命，一方面他自己也不想就这样离开人世。再加上李氏一门虽名将辈出，但总是得不到汉武帝的 重用，自己的祖父如此，他自己也如此。所以，这种怨恨在李陵心中一直未能消除。况且，匈奴的首领对他十分器重，日后必当重用。于是，李陵索性就留在了匈奴 人的部落，世世代代生活了下去。
无论李陵是因为什么原因留在了异族的部落，对于李氏家族来说，都是极大的打击，昔日荣光的家族渐渐名誉扫地，日趋衰微了。不论李氏宗族的人，还是当地的名士，或是曾在李氏门下为宾客的人，无不因李陵投降匈奴的事而感到耻辱。
