为了办好“乡治”，这年春天梁漱溟到南京，参观了平民教育家陶行知在乡下创办的“晓庄乡村师范学校”。这所学校是陶与东南大学教授赵叔愚等人创建的，校址在南京北郊劳山脚下的一个小乡村，原名小庄。该校初建时一无所有，全校师生不过数十人，在校长陶行知的带领下，用自己的双手在荒地上盖起教室、图书馆、办公室、大礼堂等，应有尽有，显示出“自力更生”的高贵精神。学校的办学方针是“教学做合一”：事情怎样做，就怎样学，怎样学就怎样做。其目标是要培养乡村儿童和民众教师。一方面是能够教导儿童，办一所良好的乡村小学校；另一方面是能够辅导民众，将他们自己所办的学校建成为改造乡村社会的中心。上述这些办法和精神，对梁的教育思想产生了巨大影响。他返回广州后，即在省立一中向全校师生作报告，介绍他参观的印象与感想。他说：“晓庄学校有三点很合于我的意思的：（一）有合于教育道理；（二）有合于人生道理；（三）注重农村问题。”接着他分别作了解释，并介绍了晓庄学校的教学与生活情形。他说：“该校在开办时，没有房子住，就在山下立起三五顶帐幕，几个人对着帐幕升起旗子来，就举行开学典礼。后来人渐多才分投到附近农家去住。现在因为校舍不够，还有住在农家的。他的用意在于使学生能和农民一般吃苦，并且深知农民问题，所以他们的生活都很贫民化，穿短衣服，时常光着脚如同农夫一般。校长常说他们有三种打破：一是打破课程与生活的分离隔阂；二是打破教师与学生的分离隔阂；三是打破学校与社会的分离隔阂。”上述这些，梁认为至少有两种好处：一是能培养学生的能力，使他们得到真学问，改变城市教育的那种师生分作两级，治者与被治者，脱离社会生活的弊病。二是有合理的生活。生活平民化，改变城市教育中那种无能力又不平民化，不能做事又要享受贵族生活的坏习惯。基于这种认识，他想在广东省立一中推行晓庄学校的办学原则和方法，改造学校，并为理想中的“乡治”寻找门径。
上述讲话是1928年11月6日讲的。过了一月，他又作了一次报告，详述他改造“一中”的办法，并拟成立一个教务委员会来作为管理机构，请徐名鸿、张俶知和黄艮庸三位委员来帮他处理日常工作。一切安排妥当，准备于1929年春季开学后实施一切改革办法。然而，事情没有这么简单，由于李济深因桂系反蒋而被调往南京，时局发生变化，因此梁的愿望与计划，一时难以实现。他看此情形在广州无所作为，于是把学校的事交给黄艮庸负责，自己带领一帮人离开广州，由南到北去各地考察当时正在一些省份掀起的乡村改进运动，准备将来回省推行“乡治”。
1929年2月，梁得到广东政府的资助，偕其同志冯秉奎、周用、马毓健、伦国平、杨遂良等人，离开广州到上海，旋即参观了中华职业教育社黄炎培、江问渔等人在昆山安亭乡徐公桥办的乡村改进会的办公处所及一所小学校。他们的改进事业，总的说来，是要农村有组织，农民有自治能力，农村经济改进，农业改进，文化增进，一般生活之改善，等等。梁观看了实际情况，并听了黄、江等人的介绍，感触良多。他说：“我看到提倡职业教育运动的同人，回转眼光视线到农业上、到农村上，而一向的职业教育运动转变成为一种乡村改进运动或农民运动，是令我非常愉快高兴的。”接着他对改进的一些做法，如人是从外面聘请来的，办公所是外面贴钱修建的，道路是我们贴钱修筑的，教育是外面贴钱来举办的，等等，提出批评意见。他认为：这样做困难虽没有了，但问题没有解决。中国农村这么大，数十万农村之多，如果每村都靠外力来维持，那么所要的钱和人才从哪里来呢？若说做完一处，再做一处，并希望别人闻风兴起，那只怕中国民族的命运等不到那个时候了。因此他主张人才与钱的问题，必须以取材于本地为原则。若拿这个标准来评论徐公桥的做法，显然是不能达到普及效果的。最后他很坦率地对其他主人说：“诸位是在现状下尽点心，做些应做的事；而我则要以‘中国’这个大问题，在这里讨个究竟解决。”但要如何解决这个大问题，梁也说不清楚。他的主张如何实现，他自己也没办法，还是在摸索过程中。
在参观过昆山徐公桥的乡村改进事业后，他往北走，到了河北定县参观晏阳初主持的平民教育促进会在该县翟城村兴办的乡村改进事业。梁等在米阶平、冯梯霞等人的陪同下，参观了这个模范村。这个村三百几十户人家，家家都有副业，如纺纱、织布等。因此，生活比较富裕，故有“家给人足”之称。村中设有村政委员会，训导本村之自治。村中所办事，主要有两所学校：一是男校，二是女校。平教会在翟城的工作，一部分是推行平民教育，一部分是办理社会调查，并设有农业及牲畜改良试验之农场，植树造林，挖井抗旱，故农产量为之大增。梁参观后评论说：平民教育之转向农民身上，并扩大充实其内容意义，当然是一大进步，但“中国”这个问题不是从教育上或从一种社会事业上能得到解决的。他认为农村的改造，根本出路在于开发产业；若产业不能开发，则其他问题都得不到解决。若单从教育上下工夫，那是无济于事的。
之后，梁等又转到山西太原。在此他们又参观了该省在沁源、汾阳、介休、赵城等县兴办的乡村自治情形，并到五台县河边村拜会了正在那里修养的省长阎锡山，与他讨论乡村自治等问题。当时阎锡山有两句名言：“用友不如用民，用民不如民自用。”还有一句叫做“用众治众”。大意是说，村政是最好的民众运动，因为是全民的，所以与工会、农民协会等运动不同。如果照农民协会的办法，在他们看来，是有意分化社会，利用乡间一部分人和另一部分人作对，形成阶级斗争，这是他们所不能容忍的。由此可见，阎推行乡治的目的，是为了巩固他们自己的统治政权。
梁漱溟在参观过山西省的村治后，对他们的主张没有什么不同意见，不过对其所采取的措施，认为缺乏自治的精神。如村长一职，多数落入土豪劣绅之手，而这些人常是借着“公事”以达个人目的。他们上可交结官厅，下可欺压百姓，从中取利。于是梁不无感慨地说：“当此无法律无秩序时代，生存竞争激烈，此种人应运而生，实属势所必然。可以推想村长一职，落于此等人手者居多，结果，村制定了，自治完了！只是这某人自治罢了！”除村长问题外，还有村民、制度、钱财、办事、筹款、薪金等问题，他都根据自己的观察提出不同的意见供对方参考。最后他总结说：“对于山西村政的批评两句话可以尽之。一面是太过不注意；一面是太过用力气。”大意是说：当政者没有看到问题的难处，不顾客观条件，依靠行政或主观上的愿望强力推行乡治，其结果事与愿违。在他看来，全无引人们自动的好方法，而只是靠上面用力去推动，结果是大推大动，小推小动，不推不动，最后怕是推也推不动了。因此他对阎锡山说：“天下事，还得自然些才行，硬做是做不来的。”
在山西的参观，梁漱溟眼见当地政府对乡村工作的干扰不无忧虑，曾有一段生动的比喻：
中国人民好比豆腐，官府力量强似铁钩。亦许握铁钩的人，好心好意来帮豆腐的忙；但是不帮忙还好点，一帮忙，豆腐必定要受伤。……现在全国党政各界，有一句时髦的话叫做“建设”，不知老百姓最怕听建设这句话。然则就不要建设了吗？当然不是。几时自治的习惯能力养成了。政治的大路开出来，则建设自然而然，应有尽有。
梁漱溟在参观过上述三个地方后，按原计划是要返回广东的。但由于同年3月李济深在南京因反蒋事发而被蒋介石软禁于汤山，此后时局也随之起了变化，因此梁也不能再返回广东了。对这段生活，他后来回忆说：“李济深倒了，我的乡村建设计划在广东搞不成了。我离开了广东。这是我搞乡村工作的第一阶段。”