我不是一个称职的父亲，在我有机会时，我没能好好陪伴他们；而当我失去自由时，他们却已经和我疏远了。
——曼德拉狱中日记
20世纪50年代初期，30出头的曼德拉除了是一个民主斗士，还是两个孩子的父亲。这期间，他还有过一个因为身体虚弱而过早夭折的女儿。由于把大部分精力都投入到了政治斗争和学习中，曼德拉成了一个“没有家庭生活的人”。他的第二个儿子就是在自由日抗议活动时期降生的。曼德拉为他取名“马卡托·莱瓦尼卡”，分别取自非国大历史上的第二任主席赛法库·马宝·马卡托和赞比亚主席莱瓦尼卡，他们都是曼德拉心中的自由斗士，象征着勇气。但莱瓦尼卡出生没多久，曼德拉就又投入到了政治斗争中。为此，曼德拉一直对家庭感到十分愧疚。一次，曼德拉的妻子告诉他，他们的大儿子泰姆比有一天问她：“我爸爸住在哪？”她不知道怎么回答。这时曼德拉才意识到，他已经连续十几天没有回家了。后来，由于法院的禁令，曼德拉两年内不得出席任何多人聚会，连儿子的生日聚会也被禁止参加，这更让他感到愧疚。过多地参与政治也为曼德拉的第一次婚姻埋下了失败的种子。
出于自身生存和养家糊口的需要，曼德拉不得不将一些精力放在自己的律师职业上。已经取得职业律师资格的他和奥利弗·塔柏合开了一家律师事务所。这家名为“曼德拉·塔柏”的律师事务所是南非第一家由黑人创办的事务所，他们的经营既有优势，也有劣势。优势是当时的白人律师事务所大多施行“双轨制收费”，即向黑人收取远高于白人的代理费用，这使得很多黑人客户都选择到曼德拉·塔柏事务所。他们事务所的走廊总是挤满了人，有时他们一天就要处理七八个案子。他们只对杀人或抢劫等恶性案件收取费用，而对一般的人权案则免费。很快，他们就以诚实和勇气而饱受赞扬。
劣势则是整个法律环境对黑人律师的歧视和打压。第一次和这个身材高大的黑人律师打交道时，很多白人律师都选择拒不回答，甚至连法官都有意无意地刁难他。一次，开庭前，法官要求曼德拉出示律师事务所的营业执照，这种执照都是挂在事务所的墙上的，谁会随身携带呢？但法官坚持说自己不认识曼德拉，不知道他是不是合法的律师——虽然作为南非第一个黑人律师事务所的创办者，曼德拉早已被南非司法界所熟知。双方争执不下，法官便将曼德拉赶出了法庭。倔强的曼德拉就此事上诉到最高法院，最高法院判定那位法官的行为是不恰当的，并给予了处罚。
但对曼德拉的律师生涯来说，并不是每件事都这么幸运。由于当时他受理的多是黑人案件，而黑人案件又多是人权案，所以在打官司的过程中往往困难重重。其原因不难理解，法律本身就是充满歧视性的，你又如何通过合法的途径来争取自己的权益呢？黑人不小心使用了只有白人才能使用的水龙头，黑人不小心闯入了只有白人才能活动的区域，或者是被警察盘查时恰好忘了携带通行证……这些案子让曼德拉作为一个律师头疼不已。曼德拉很清楚，在南非做律师是多么艰难，因为整个法律体系毫无公正可言，但为了生计，也为了那些需要法律援助的黑人，他只能硬着头皮干下去。
更让他头疼的是，政府在认定曼德拉是一个危险的政治人物时，便打算通过摧毁其生计的方式逼迫他妥协或在疲于应付下无力参与政治斗争。1954年，政府授意德兰士瓦法律协会起诉曼德拉，以其“参加政治活动并被判犯有共产主义罪”为由取消其律师从业资格。值得庆幸的是，南非的司法机构虽然也具有很强的种族歧视倾向，但他们相对独立于政府，也不希望做政府的工具。一些和曼德拉持不同政见的法官也声援曼德拉，他们表示不希望律师职业的共同利益被政府的阴谋所损坏。负责此案的主审官拉姆包斯特姆也持这种观点，他驳回了律师协会的申请。
但这还没有结束，当《特定住区法》颁布后，曼德拉和塔柏发现，他们居然无法再在约翰内斯堡立足了，因为根据这部法律，黑人不得在市中心地区拥有营业场所，他们只能搬到偏远的黑人城镇。尽管经过几次抗议和申诉，曼德拉的律师事务所最后却还是被政府强占了。
这段时间里，曼德拉作为父亲是不合格的，但作为一名律师和党派领导，他的确十分称职。这是难以调和的矛盾，用他自己的话说，就是从“轻量级选手”向“重量级选手”过渡的过程。当他的肩上要扛起全体黑人同胞的政治期盼时，他只好暂时将家庭幸福放在一边，将自己变成一个一往无前的“重拳手”了。