我是一个克制的人，但我并不总是能很好地控制自己的情绪，尤其当他们打破我的底线的时候。那时，连我自己都快不认识自己了。
——曼德拉自传《漫漫自由路》
罗本岛是一个与世隔绝的地方，政府希望曼德拉等人就在这里老死，不再给他们增添麻烦，但曼德拉是不安分的，国际社会也没有忘记他们。经常会有不速之客来岛上拜访曼德拉，南非政府出于面子不好拒绝，但想方设法地隐藏监狱里的真实景象，好让他们出去后不会给政府带来压力。
第一位访客是在他们刚上岛不久后来访的，最开始他们被告知这是一位来自英国的研究监狱的专家，后来他们才知道这是英国旅行作家伯纳德·纽曼，他正在撰写《南非行记》，因为和警察关系不错，才被特许来罗本岛参观。因为纽曼的到来，曼德拉等人的工作从采石变成了缝纫——当然，纽曼一走就变了回来。虽然曼德拉向纽曼抱怨了罗本岛上的伙食、住宿和工作环境都相当恶劣，但纽曼更相信监狱的描述。最后，纽曼在杂志上发表文章称罗本岛的监狱条件比很多英国监狱的条件都好。
后来，又有一位美国律师来岛上访问。本来曼德拉等人以为他会是一个体面的白人绅士，结果却是一个衣着邋遢，甚至有点微醺的粗鲁的家伙。他在聊天的过程中随意打断犯人的抱怨，并且随地吐痰。最终，曼德拉有点生气，指责道：“如果您不是来倾听我们心声的，那就请回吧。”结果他满不在乎地说道：“美国的监狱可比这里糟糕多了。”
最被曼德拉等人寄予希望的是红十字会的到来，由于利沃尼亚大审判后国际社会的关注，关押在罗本岛的犯人的待遇受到了联合国的关注。但让曼德拉失望的是，他们派来的区域代表汉斯·森一点不像个热心公益的人。他表现出一副死气沉沉的样子，对自己的工作完全没有热情。他甚至还在给友人的信中写道：“若是了解了这个世界上正在发生的种种事情，那任何人都会变得憎恶人类。”曼德拉给了他一份要求清单，是犯人们希望监狱改善的地方。他看完清单后却吐出一句：“面包对黑人的牙齿不好。”最后，他在向联合国提交的报告中称赞了罗本岛的管理，这使得联合国过了好几年才发现曼德拉等人的真实处境。
当然，也不是每个人的到访都被监狱用障眼法打发走了，苏兹曼女士的几次来访就为曼德拉等人带来了实质性的条件改善。但即使残暴的监狱长被调走，换来的新监狱长也不会是个慈善家，只要罗本岛还是在南非白人政府的控制之下，那他们就不会有好日子过。
对此，曼德拉早做好了心理准备，所以，面对政府的种种伎俩，他努力地克制着自己的情绪，尽量以冷静而周全的方式处理问题。他还告诫其他犯人，以牙还牙的态度只会将自己拉低到和敌人一个层面。但是，这不表示曼德拉就不会有爆发的时候。
1968年，犯人向监狱方抱怨学习资料被没收的事，结果，监狱高层之一，也是长期对犯人持强硬态度的修萨曼上校当众羞辱了他们。于是，站在队伍最后面的曼德拉爆发了，他站出来严厉指责了修萨曼的傲慢和无礼。习惯了曼德拉的温和与克制的人都惊呆了，因为他们几乎从未见过曼德拉发火的样子，此时50岁的曼德拉就像一头猛兽！后来有人问曼德拉那次是不是太过火了，他则摇头道：“不不，我知道分寸。对修萨曼这种人，就要时不时给他一个下马威！”在曼德拉的呵斥下，修萨曼灰溜溜地走掉了。从此，他们知道了曼德拉虽然表面克制，但只要触碰到他的底线，他会表现得比任何人都可怕！不过即使这样，他也不算失控。
曼德拉唯一失控的一次是得知监狱以“曼德拉不想见温妮”为由拒绝了温妮的会面请求。对温妮的思念是支撑曼德拉在这里持续斗争的力量来源之一，所以监狱的这种卑鄙做法彻底激怒了他。他找到监狱长普林斯进行抗议，起初他只是据理力争，没有表现出暴怒的一面，但随后普林斯反驳说是温妮自己沽名钓誉才编造了这个新闻，曼德拉不能忍受自己的妻子被人侮辱，便猛然站起身向普林斯走去。但最后他还是克制住了自己的火气，没有向普林斯动手。
回去之后，曼德拉也为自己的失态感到沮丧，他认为这次斗争是普林斯赢了。而且，他也要为自己的冲动付出代价，第二天，他就收到了一名检察官的起诉指控，指控他威胁并侮辱监狱长。面对指控，曼德拉恢复了冷静，因为他认为这是一次重新出现在公众面前并呼吁大家关注监狱犯人生存状况的大好机会。于是他立即开始起草反起诉书，准备控告监狱里的压迫行为和非人待遇，他还要指控普林斯滥用职权。结果，南非政府得知之后便让普林斯撤销了指控，因为他们不希望公众再次见到曼德拉，他们清楚曼德拉的影响力有多大，所以他们不会给曼德拉出现在法庭上的机会。
还有一次的情形也与此类似，是德兰士瓦法律协会想把曼德拉踢出去，他们早在十几年前就这么尝试过，只不过那次被法院驳回了。这次他们卷土重来，希望以“曼德拉被定罪”为由将他赶出法律圈。曼德拉知道后，便申请自己为自己辩护，这样他就能再次在法庭上借机表达自己的政治观点。结果，政府再次阻挠了这件事，他们让法律协会撤销了请求。
当然，政府也不全是消极的防守，有时它也会主动向曼德拉发起进攻。一次，他们指控曼德拉上了共产党支持者的名单，希望将曼德拉是共产党的传言坐实，但曼德拉轻松地戳穿了政府的污蔑，他反问政府：“我加入共产党的入党宣言是怎么样的？我何时何地参加过共产党的哪次会议？”由于给不出确凿证据，加上惧怕曼德拉在法庭上出现，于是政府只得于4个月后宣布不再指控曼德拉。