比最坏还要糟糕的是收不到任何消息，思念是我在岛上最无法忍受的事情，我宁愿收到一封写着坏消息的信，也不愿收不到信。
——曼德拉自传《漫漫自由路》
监狱生活毕竟是枯燥无味的，自由也似乎遥遥无期。所以，即使曼德拉的毅力和勇气不容怀疑，但他也和每个常人一样，有着自己的弱点和短处。其中，对曼德拉打击最大的就是对亲人的思念。作为最低等的犯人，他无论是写信收信还是接受探视，都是以半年为期的。
他一直渴望收到亲友的信件，好知道家庭和外界的状况，但他又不能将这种渴望在狱警面前表现得太明显，以免被他们抓住把柄要挟自己。所以，每次有信件寄来时，他都装作若无其事的样子去收信，回到牢房后才迫不及待地打开。但即便如此，狱警们也经常拿信件做文章，因为他们知道对于一个与世隔绝的人来说，这些信件是多么珍贵的心理安慰。所以，他们除了像之前截留曼德拉写给费希尔的信件一样，也会截留外面给曼德拉的信件，即使真把他们认为没什么要紧的信件交给了曼德拉，也会先浏览一遍信的内容，并粗鲁地将他们认为不适合的地方涂掉或剪掉。这是让曼德拉最为愤怒的地方，他不希望亲友写给他的思念和鼓励是残缺的，但他除了抗议，也没有更好的办法，因为激怒了狱警，也许他就再也收不到信了。
除了信件，曼德拉最渴望的当然是温妮半年一次的探视，虽然每次只有半个小时，但短暂的相见仍让曼德拉感到无比幸福。但即便是半年一次的相聚，也因政府的阻挠而显得愈发奢侈。当时温妮因为参与妇女运动，被政府处以禁令，不能随便离开约翰内斯堡，而她要来一次罗本岛，可以说是千里迢迢。政府只要稍微耍点小手段，就能让温妮错过与曼德拉的会面。有时，他们先是故意拖延温妮的申请，然后又在规定会面时间的前一天临时通知她，这样她就必须放下手中的所有工作，立刻往罗本岛赶，有时再出现点其他变故，她就会错过会面，要再等上半年。
温妮的第一次探视是在64年的8月，也就是曼德拉刚上岛不久，那次温妮是和西苏鲁的妻子阿尔贝蒂娜一起来的。整个过程中，他们无法有身体接触，连使用的语言都有限制——因为狱警听不懂南非土著语，所以只允许他们用英语或荷兰语交流。短短半个小时，他们简单地介绍了各自的情况，会面就草草结束了。这之后，因为政府的阻挠，温妮有整整两年时间没能来看他。
这次会面，曼德拉发现温妮的精神状况堪忧，因为她不仅要照顾家里的两个女儿，还要抵抗来自政府的不断骚扰。这一方面是因为曼德拉的关系，一方面是因为温妮自己对政治事务的热衷。后来，温妮的一系列让人无法理解的独断行为，可能就是因为这段时间的痛苦遭遇。我们看到，一个残酷的制度会把善良的公民变成和它一样冷漠而残酷的人。虽然曼德拉当时并未预见温妮之后的性格变化，但他知道只要种族隔离制度存在一天，必然会有更多的人遭受人性的摧残，一步步走向堕落或犯罪。
除了跟外界隔绝，在岛上的繁重体力劳动也让很多人苦不堪言。虽然曼德拉长期健身，身板很好，但也经不起狱警的来回折腾。他们起初的工作是砸石块、运石子，偶尔还要做一些针线活。后来，他们被调到石料场干活，负责从岩层中将石灰石刨出来。虽然这里可以看到远处的美丽风景和自由的海鸟，但一来劳动强度大，二来工作环境相当恶劣。岩石反射的太阳光十分伤眼，岩石的粉末也四处弥漫，让他们睁不开眼。所以他们干活时即使眯着眼也会常常流泪，回去之后也要很久才能缓过来。
为此，曼德拉向监狱申请让犯人戴着护目镜工作，但遭到了拒绝。随后，在医生的建议下，狱方才同意犯人自费购买护目镜，但此时已经是曼德拉等人在石料厂工作的第三年。这期间，他们已经不知被迫流了多少眼泪。监狱里的抗争就是这样，你要经过漫长的抗议和等待，才能赢得一点点本该享有的权利。
唯一值得庆幸的是，即使有这么多打击曼德拉的事情存在，他依然保持着积极的心态和高昂的斗志。他知道政府希望通过各种方式击垮他，好让他即使将来被放出去也失去了一个斗士的勇敢和坚毅。但曼德拉就是不愿顺遂政府的心愿，他说：“虽然我常常表情严肃，但我是一个乐观的人。不论这种乐观是天生还是后天培养的，有一点可以肯定的是，这种乐观有一部分来自每天迎接太阳到来的那份勇气。在我们生命中的黑暗岁月里，我们的信仰会遭受痛苦的考验。但是，我们不会向悲观主义屈服，因为向它屈服就意味着彻底的失败和死亡。所以，我在哪里看到有不公的事，就会在哪里展开斗争，不论是在外面还是在监狱里，也不论这不公的程度是大是小。我反对不公，以保存自己的良知。”