这是一项十分危险的使命，我不得不离开我的家人。可是，当一个人无法拥有他本该拥有的生活权利时，他除了成为一名违法者，别无选择。
——曼德拉自传《漫漫自由路》
沙佩维尔惨案激起了全南非人民的强烈抗议，非国大领导人也第一时间提出了强烈的谴责，卢图利还带头焚烧了自己的通行证。几天后，全国有10万人参与了这个抗议行动。这段期间，南非各处暴乱丛生，政府宣布全国进入戒严状态，下令取缔非国大，并大范围地抓捕了很多人。曼德拉也是在这段时间从保释状态被逮捕入狱的。
曼德拉被捕入狱后，审判就加速了，经过激烈的辩论后，曼德拉等人最终于1961年3月赢得了诉讼，被无罪释放。但在当时紧张的局势下，留给曼德拉等人的庆祝时间就十分有限了。虽然此时政府已经解除戒严状态，但曼德拉等人在政府黑名单中的位置无疑又靠前了一些。
所以，曼德拉很清楚，来自政府的打击一定会很快到来，他必须做好转入地下的准备。因为有了以往的教训，曼德拉知道政府不会再轻易地放过他们。所以，判决后曼德拉没有回家，而是躲到了一个相对安全的住处。
这次转入地下的行动其实早就在曼德拉的计划之中。早在一年多以前，当政府宣布非国大为非法组织时，非国大的领导层已经决定将工作转入地下，这时之前由曼德拉提出的曼式方案发挥了重要作用。在政府无孔不入的打击下，这种相对独立的组织形式为非国大保留了相当多的有生力量。同时，非国大的重要领导人奥利弗·塔柏听从大家的建议选择了逃离南非，去国外继续开展非国大的组织活动。当时，非洲各个国家的独立运动此起彼伏，和南非毗邻的博茨瓦纳、津巴布韦等国家纷纷独立，他们对南非黑人也有感同身受的同情。因此，奥利弗在国外的组织活动开展得有声有色，并为非国大在国际上赢得了较高的声誉。
同时，非国大还决定创立新的组织。1960年3月25日，他们在彼得马里兹堡召开了联盟大会，商议地下斗争和未来方向的问题。曼德拉虽然处在禁令期，但这次他们冒险让曼德拉发表了演讲。这次会议共有1400多名来自不同团体和民族的代表参加，曼德拉在演讲中呼吁建立一个全国大会，将不同种族、不同宗教和不同文化背景的人团结在一起，共同为自己的利益奋斗。会后，他们成立了全国行动理事会，曼德拉当选为名誉书记。这次大会的象征意义大过于实际意义，曼德拉等人在会后立即转入地下继续开展政治斗争工作。在被捕入狱前，他已经过了相当长一段时间昼伏夜出的日子，同时还学会化装和易容等诸多掩人耳目的技能。
那时，虽然政府还没有下定决心要绕过法院，直接用最蛮横的方式对付曼德拉，但曼德拉自己已经有了觉悟，他告诉温妮：“无论审判的结果是什么，我都不能再回家了。如果叛国罪成立，我就只好去坐牢；如果我被无罪释放，我会立即彻底转入地下。”
所以，曼德拉在被释放的当天，便做好了开始地下工作的准备。这之后，曼德拉去了伊丽莎白港，他和一些同志交流了地下组织结构的问题，还和几位报社记者进行了沟通，希望他们能在报纸上刊登有关全国大会的消息。另外，有些报纸之前一直认为是共产党人控制了非国大，在听完曼德拉本人的叙述后，他们更正了观念。
当天夜里，曼德拉在开普敦召开的一次非洲人乡镇牧师会议上发表了讲话。这些牧师中有一位是曼德拉的好朋友，他曾以最真挚的祈祷深深感动过曼德拉。他在祈祷时“提醒”上帝，他的子民中有一部分人正在蹂躏另一部分人，上帝不应该对这件事置之不理。如果上帝再不表现得积极一点，黑人就只能自己拯救自己了！这些祷文并不正式，甚至对上帝有一点“冒犯”，却十分打动曼德拉。
第二天，曼德拉赶到德班，参加了非国大全国执委会和全国大会联合执行委员会召开的会议。会议的主题是下一次大型抗议活动的具体形式。首先，罢工是确定的，但具体以什么方式罢工呢？有人建议采取较为激进的罢工加游行示威，但有了沙佩维尔惨案的教训，曼德拉等人建议以罢工和在家静坐的方式进行抗议。这样一来可以通过罢工打击政府，二来在家中静坐使得政府无法进行立即的报复。最后，大会同意了曼德拉等人的建议。
不出所料，政府很快就签发了对曼德拉的逮捕令。曼德拉开始了正式的藏匿生涯。有了之前乔装打扮的经验，曼德拉并不十分担心被警察抓住。他有时装扮成司机，有时又乔装成厨师或园艺工人，警察屡屡空手而归。这时，曼德拉的传奇色彩开始在坊间故事里渐渐形成。对一个民主斗士来说，这种传奇色彩是维持他在群众中影响力的最好载体。
曼德拉并不是一个迂腐的政治人物，他知道在民主斗争这条路上自己的政治资本是什么。曼德拉很会经营自己的传奇形象，他经常打电话到报社通知非国大的下一个活动计划，同时还会将警察在搜捕他的过程中做的蠢事爆料给报社。这些都成了坊间热议的话题。也就是在这个时期，曼德拉得到了“黑色海绿花”的绰号。这个绰号来自法国大革命时期多次躲过政府抓捕的奥卡兹，人们称他为“红色海绿花”。
其实，曼德拉的逃亡生涯并非一帆风顺，他曾多次被人发现，但是由于他在民众中的巨大声誉，所以人民即使看到，也装作没看见。一次，装扮成司机的曼德拉出现在约翰内斯堡的一个偏僻街角，当他发现随近有一名黑人警察时便打算逃跑，结果那名警察对他笑笑，还行了一个非国大的会礼，然后就走开了。除了“视而不见”，有的黑人警察干脆直接给他通风报信，告诉他什么时间不要出现在什么地方。在他们的帮助下，曼德拉一次次有惊无险地躲过了政府的搜捕。
有趣的是，曼德拉即使在逃亡期间也没有放弃锻炼身体。养生是曼德拉生活中十分重要的一项内容，即使后来被关到罗本岛，他也没有放弃过每天的锻炼，这也是他长寿的重要原因吧。当曼德拉躲藏在朋友家中昼伏夜出时，他每天5点起床，原地跑步一小时。最后连他的朋友都被他带动，每天上班前和他一起进行锻炼。