罗本岛就像我的第二个家，我在那里生活了18年。但踏上岛的第一天，我没料到在离开那里时，我居然还会有点不舍。
——曼德拉自传《漫漫自由路》
庭审的“胜利”并没有让曼德拉等人的喜悦持续很久，判决一下达，他们就被带回了比勒陀利亚监狱。他们知道，终身监禁意味着自由的彻底丧失，意味着斗争运动的偃旗息鼓。而且，若是国民党政府一直不下台，那也许他们真的永远都无法再重获自由。
就在曼德拉等人在比勒陀利亚思索着出路时，他们在一天半夜被突然押送到了罗本岛。在去罗本岛的路上，狱警还对他们调笑道：“放心吧，你们肯定不会在监狱里待很久的，因为现在要求释放你们的呼声太强烈了，也许你们进去一两年就能出来了。到时候，你们作为民族英雄，肯定要什么有什么，每个姑娘都会争着做你们的老婆。你们可真厉害！”然而，曼德拉对未来的估计却没有这么乐观，他已经和白人政府打过无数次交道了，他深知这个政府的顽固和强硬。他虽然相信正义一定会战胜邪恶，但他怀疑自己还能不能活着看到那一天——毕竟自己已经46岁了。
此时的南非正处在最冷的季节，裸露的罗本岛更是饱受寒冷侵袭，然而，比天气更冷峻的是岛上的管理。利沃尼亚大审判期间，为了应对数量激增的政治犯，政府在罗本岛上修建了新的看守所，新的看守所和原来的监所完全隔开。
新的看守所分为三个区，曼德拉和其他6名重犯都被单独关押，因为狱方怕他们煽动其他犯人闹事。曼德拉的牢房位于走廊尽头，面积只有4平方米多一点，里面有一扇对着院子的小窗户，但窗户设置得很高，1米83的曼德拉要踮起脚尖才能看到一点外面的情形。为了安全，曼德拉的牢房被设置了两道门，最里面的是铁门，外面的则是一道木门。曼德拉觉得狱方太敏感了，虽然他是个拳击好手，但已经46岁了，还不至于用蛮力冲破牢门吧。曼德拉牢房外门上贴着标签牌，写着“N·曼德拉466/64”，“466”是他的编号，“64”则代表他来到罗本岛服刑的年份。
恶劣的硬件条件还不算什么，最让曼德拉难以接受的是岛上的非人管理。岛上没有黑人警察，也没有白人犯人，所以黑人犯人遭受的都是非人的待遇。犯人被分为四等，不同等级的犯人在探视、通信等方面的权利都不一样，而且这种等级是会根据表现升降的。曼德拉作为重犯，自然一进去就是最低的D级犯人。但不管哪个级别，他们都要喊狱警“老板”，并且无休止地从事重体力劳动，还要时常遭受“老板”们的打骂……就像第一次上岛时他们说的，来到罗本岛的犯人若是意志不够坚定，一定会死在这里。
曼德拉不打算老老实实地等死，像上次来罗本岛时一样，他这次来的第一天，就开始找狱方的麻烦。他再次抗议狱方为他准备的短裤，认为这是对南非黑人的歧视和侮辱。为了不激怒这个麻烦的家伙，狱方很快就为他换了一条长裤。当曼德拉看见只有自己换了长裤时，却又将长裤退给了狱警。这下狱警生气了，怒道：“你说要长裤，我就给你长裤，现在你又不要了，耍我是不是？！”曼德拉反驳道：“既然你们给我发了长裤，就应该给这里的每个犯人都发长裤。如果你们不愿这么做，那我只好选择和他们站在一起。”狱警也见过不少犯人，他们提出各种抗议多是为了帮自己争取好处，像曼德拉这样因为别人而放弃自己好处的犯人，他们还是第一次见到。最终监狱长亲自来和他谈判，并最终答应了他的要求，给所有囚犯都换上了长裤。
狱方对曼德拉的态度是复杂的，一方面他们早已习惯了强硬而野蛮的管理，不希望碰到像曼德拉这样的刺头；一方面，曼德拉深谙法律，并且具有强大的社会影响力，若是他们以超越法律界限的方式对待他，那一定会闯下大祸。所以，狱方时常会用一些小动作来报复曼德拉。例如，上岛两周后，曼德拉的律师，也是他曾经的同学费希尔前来看望他，费希尔当着狱警的面诵读了曼德拉在狱中享有的权利，这种明显的提醒和示威让狱警十分不爽。聊天中曼德拉随口问起了费希尔的妻子，也是自己的好友莫莉的近况，结果费希尔低头沉默不语，并很快离开了。后来狱警告诉曼德拉，莫莉前不久因车祸去世了。曼德拉震惊之余想安慰一下费希尔，便写了一封信托狱警寄出去，他不知道的是，这封信被狱方截留了。
当然，这种明里暗里的争斗并不是曼德拉生活的主要部分，因为这里犯人的生活既单调又劳累，他实在找不出多少可以向狱方发起挑战的机会。他们每天5点半起床，并被要求整理内务；6点45分吃早饭，吃完早饭就开始进行劳役；午饭后没有休息时间，直接进行下午的劳役；4点收工，4点半晚餐；晚上8点准时睡觉。这种千篇一律的生活方式让很多犯人渐渐麻木，甚至分不清日期。没有了时间感，人很容易就会丧失判断力和注意力。为了保持清醒，不让自己的判断力下降，曼德拉每天都在牢房的墙壁上记录着时间。并且，每天深夜，曼德拉不会像其他犯人那样在疲惫中沉沉睡去，而是先回忆一番之前的斗争经历再睡，这也使得他每天醒来，眼里依然闪烁着执着的光芒。
为了消耗犯人的体力，从而削弱他们反抗的能力，狱警们会不断加重他们的工作量。曼德拉他们第一周被要求运完半车石子，第二周就成了3/4车，第三周又加到整整一车……而且狱警似乎没有停止增加的意思，所以曼德拉决定联合其他人，一起用消极怠工的方式抵抗狱警的压榨。狱警威胁曼德拉不要挑事，但曼德拉不为所动，最后没办法，狱警只好听之任之。
经过了两次大起大落的审判，曼德拉已经成熟了不少。46岁的他已经不再像当初那么骄傲和争强好胜，取而代之的是更强大的精神和更沉稳的性格。现在，已经没有人怀疑他为自由事业做出的牺牲，即使他真的被判了死刑，他做出的贡献也已经足以让他名留青史。但对他来说，一切远未结束。这次审判不过是将那个巨大的战场浓缩到一个狭小的地方。在这个新的战场上，他将进行更加系统而深入的性格、智慧以及精神上的修炼。