两周后，甘地动身到孟买开办了一个律师事务所。刚搬进事务所，次子曼尼拉尔便染上了严重的伤寒。当时曼尼拉尔年仅10岁，前几年还差点因患天花而死去。对这个多灾多难的儿子，甘地忧心如焚。
医生告诉甘地吃药的作用不大，建议给他吃鸡蛋和鸡汤，但甘地拒绝了。他认为，这是有违素食信仰的。信仰就是生命，即便心爱的儿子眼下生命垂危，他也不想改变信仰。
为了兼顾信仰与儿子的生命，甘地决定冒险试一试偶然学到的水疗法，每天给曼尼拉尔进行坐浴，且接连三天不断给他喝掺水的桔汁。
开始时毫无效果，曼尼拉尔的病情日渐加重，甘地也一度想要放弃。但他最终还是坚持下来了，而奇迹也终于出现了，曼尼拉尔的病居然逐渐好了起来。以后，他成了甘地的孩子当中最健康的一个。
就在此时，南非的再一次召唤又打破了甘地在孟买的创业计划。
当时，英国人在南非成立了一个亚洲人事务部，专门对付印度人。正好此时英国殖民大臣张伯伦要访问南非，当地侨团希望甘地能利用这次机会为他们争得一些权益。
为了帮助更多的人，甘地再次重返南非，并准备去会见这位事务大臣张伯伦。
但与张伯伦的会晤却让甘地非常失望。因为张伯伦此来是接受3500万镑的礼物，并争取英国人和波耳人民心的，对印度人的疾苦并不关心。他用十分直率的方式回绝了甘地。
“你知道，帝国政府对自治领是没有什么控制的。你们的疾苦看来是确实的，我将尽我的力量帮助你们，但如果你们想生活在欧洲人中间，你们就得尽可能地与他们友好相处。”
在此之前，甘地一直想通过自己的效忠来换得英王的开恩，可现在张伯伦用文雅而直率的方式告诉他强权政治的逻辑。这意味着，此后将有更加艰苦的斗争在等着他们。
甘地并没有气馁，1903年1月1日，甘地从德班赶到比勒托利亚，在那里搜集资料，写成备忘录，准备提交张伯伦。但亚洲人事务部的人从中作梗，使甘地未能如愿地见到张伯伦。虽然另一名律师代替了甘地，但会见也没有取得预想的效果。
甘地意识到这里需要他，以后的麻烦会越来越多，于是决定留下来成立律师事务所，地点选在约翰内斯堡，因为这里是管理亚洲人官员的据点。这些官员都唯利是图，以敲诈勒索为业。
律师事务所刚一开业，便有人上门诉说所遭受的不公正待遇了。甘地觉得自己有一种责任，要出来主持公道。他开始广泛搜集证据，待到材料充足，他便去找警察局长。指控经过一些周折后，最终取得了一定成效，两名穷凶极恶的官员被革除公职。
此间，甘地的人生观也发生了变化。他深刻地了解并更加信服印度教，开始系统地阅读《瑜珈经》、《薄伽梵歌》这些经典着作，并以身实践对“不占有”和“平等”的理解。对此，他写信给哥哥，放弃了原准备投入的1万卢比人寿保险，预备将所有积蓄都投入到印度侨胞的公益事业中去。哥哥虽然气愤不已，但最终还是接受了甘地的做法。
俭朴和素食此时已成为甘地个人生活实践的主旋律，他还尝试采用自然疗法和土疗法治疗一些疾病。当收到一定疗效的时候，甘地更是深信不疑。
他也更加积极地履行博爱、平等、一视同仁的为人处事原则，这也令他的朋友越来越多，而且打破了宗教、种族和年龄的限制，甚至仇恨他的人也对他有所改观。他谴责一个人的行为从来不针对那个人，而是针对那件事。他指出，针对个人不能因其行为的好坏而受到尊敬或怜恤，亦即“恶其罪而非恶其人”。甘地认为，这种“非暴力”便是追求真理的基础。
这些都是甘地庞杂思想的基础，也是他开始形成甘地学说的最初立足点。
1904年，《印度舆论》创刊，这个由甘地负责经营的杂志很快成为当地宣传“非暴力”思想的舞台。在报刊上，甘地以其严谨、求实的风格征服了众多的读者和批评家。
此间，约翰内斯堡的一个金矿发生了黑热病。有23人感染，甘地和他的朋友们勇敢地承担了这个救护责任。他们冒着被传染的危险进入疫区，经过努力，虽然只有两人得救，但及时的隔离却让疫情得到了有效控制。在市政厅火烧疫区之后，疫情得以最终消除。
此时的一本书又让甘地萌生了一个新的想法。这本书就是社会学家约翰·罗斯金所着的《给未来者言》。它里边的思想与甘地反复思考的想法不谋而合，还有许多新的想法让甘地茅塞顿开。甘地逐渐从中提炼出精华部分，并决定加以实践。
（四）
甘地想开辟一个农场，开启“劳动而有价值的”生活。他勾勒出一幅理想的图景：任何农场的人，无论地位和职业如何，都必须劳动，并且每月一律支取3英磅的基本生活费。
他的提议得到了朋友韦斯特先生的全力支持。很快，他们便筹措了1000英镑的资金，并征购了一块20英亩的土地，这个地方名叫凤凰村。
甘地和他的朋友们开始开拓这块荒地，然后将《印度舆论》也搬到那里。在几个志同道合的朋友的帮助下，一间长75英尺、宽50英尺的印刷厂也盖起来了。接着，《印度舆论》便按计划正常出刊。
为了使大家都能靠体力劳动维持生活，每块土地都按3英亩平均分给个人，甘地也得到了一块，他还在这里盖起了铁片房子。甘地想将他的那种没有阶级压迫、自食其力的理想在这里得以实践。
然而，约翰内斯堡的律师业务仍然需要他去处理。房子还没有盖好，甘地便不得不重操旧业。此时，甘地的家眷也再一次来到南非支持他的事业。
甘地深信言传身教的家庭教育至关重要，在工作之余，他亲自教孩子们功课，并且身体力行地以培养孩子们的民族认同感为主。体能训练也是他的重点，而将技能方面的教育则排在后边。但由于他常常诸事缠身，并没有太多的时间给孩子们以语言和文化技能方面的训练。因此多年后，每每谈起孩子们的教育，甘地都有些遗憾。
1906年4月，南非发生了所谓的祖鲁人叛乱。甘地对祖鲁人并没有私怨，祖鲁人也不曾伤害过印度人。可以说，甘地当时对叛乱本身是持怀疑态度的。但甘地对大英帝国的存在有益于世界这种思想一直都深信不疑，所以他再次向纳塔耳省督请缨，表示想组织一个印度救护队，为英帝国效力。
甘地的献议很快得到准许，他立即解散了约翰内斯堡的大家庭，把家眷安置在凤凰村，自己则前往德班去征集队员。很快，甘地就招到了24位志愿队员，大家都换上军服，立即开赴前线。
到达“叛乱”区后，甘地才发现，所谓的叛乱其实就是一种抗税行动，他因此转而同情祖鲁人。当他得知救护队的主要使命就是救护祖鲁人伤员时，心中感到一丝安慰。
对祖鲁人“叛乱”的耳闻目睹让甘地大开眼界，他亲眼看到白人是如何残忍地对待这些可怜的人，“他们鞭打他们，却不愿救治他们的伤患，也不乐意印度救护队来照顾他们”。他认为，“这不是战争，而是一种对人的狩猎”。
祖鲁人叛乱平息后，甘地又回到凤凰村，继续以前的梦想。
1906年8月22日，德兰士瓦官方报公布了亚细亚法草案，该法案规定：
“所有年满8岁的印度人必须在警察局户籍簿上注册登记，领取带有个人手印的特别身份证。如不按期登记者，将被处以100镑罚款或3个月拘役或被驱逐出境；上述居留证必须随身携带，供随时检验。”
这是世界上绝无仅有的对付自由人的法案，《印度舆论》上很快便出现了甘地的谴责文章。甘地召集印侨知名人士商议对策，大家一致认为应该采取公开抗议的措施。
请愿没有丝毫作用，9月11日，由3000人出席的印侨代表大会召开了，会上通过了着名的第4号决议案，甘地在会上发表鼓舞人心地讲话：
“只有一条出路，即反抗到底，直至牺牲，而决不屈服于这种歧视。”
这一庄严的宣誓更加增强了大家反抗到底的决心。
法案不出意外地通过了，由于德兰士瓦隶属英国，甘地便赶赴伦敦去游说。他的温文尔雅和雄辩口的才博得了英国各界人士的喜爱，支持和同情之声连绵不绝。时任英国首相的坎贝尔·班纳曼还接见了这位勇敢的南非印侨代表。首相建议下院召集印度事务委员会各委员约百余人举行了一次座谈会，甘地也被邀请参加。英国的各大报纸《泰晤士报》、《每日新闻》、《论坛报》、《导报》等，也都纷纷发表评论文章支持甘地。
由于舆论和来自英国各方面的压力，事情暂时得到了缓解。但是，暂时的胜利实在短暂，同年的12月6日，德兰士瓦与奥伦次殖民地即获得自治权，并顺利通过了该决议。决议刚一通过，德兰士瓦当局便发布政令：所有印侨限于1907年7月31日以前前往登记。
甘地和印侨决定发动群众之力来进行反抗。随后，甘地成立了一个“消极抵抗协会”，并不断举行集会，每次集会都是先讲解时局，然后大家宣誓消极抵抗。
不过，“消极抵抗”是临时想出来的，甘地对此并不满意，但一时之间也没有其他的好办法。于是，甘地就在《印度舆论》上悬赏，征求以印度语名称代替英语。莫干拉尔·甘地提出了“萨蒂亚格拉哈”，这是印度语“坚持真理”之意，颇得甘地喜爱。自此，这一场“由真理与爱及非暴力所产生的力量”的运动广泛开展开来。
7月31日当天，甘地又在比勒托利亚举行了一次印侨群众大会。大会声势浩大，2000多名群众聚集在清真寺广场前示威抗议。甘地在大会上发表了讲话，继续鼓舞大家的士气。
印侨群众大会影响广泛，直至11月30日，仅有500名印度同胞前往履行登记。
因为这一时间，甘地在当地的警察局也是榜上有名。12月27日，警察局通知甘地前往警察署。第二天，法庭便以无证居留德兰士瓦的罪名将甘地拘捕，并对他提起公诉。甘地仍然不屈服，结果被送往约翰内斯堡监狱。
这是甘地第一次入狱。此后，他便成了监狱的常客。