朱元璋高瞻远瞩从元朝覆灭中吸取教训，并从中深刻地认识到，贪官污吏是祸国祸民。他内心疾恨，“不禁贪暴，则民无以遂其生”，他暗暗地下决心把元朝当作前车之鉴，彻底清除官的宿弊，建立起一个公正廉洁、勤政爱民的政治气氛。朱元璋认为：要纯洁政治空气，必须首先要树立官员们的正确思想认识，着重进行爱民教育。
在朱元璋看来，节俭是廉政之本，他非常注意以身作则，试图养成一种勤俭节约的社会风气。龙风十二年（1366年），朱元璋为登基称帝作准备，筹划营建宫室，有关部门送上设计图样，朱元璋见有雕琢奇丽之外，即予抹去。他对中书省的官员说：“宫室建造得坚固就可以了，何必过分雕饰？尧的时候，住房茅草为顶，黄土成阶，可以说简陋至极，但千古之上，人们称颂盛德之君，必以尧为首。后世竞相追求奢侈，极宫室苑囿之娱，穷舆马珠玉之玩，贪欲之心一旦生起，便不可遏止，最终必然引致祸乱。上面的人崇尚节俭，则下面的人就不会奢靡。我以为，珠玉不是宝，节俭才是宝。”
建国之后，他常把这类话挂在嘴边，既是为了提醒自己，更是为了教育别人。他曾对侍臣说：“自古帝王的兴起，都是由于勤俭，而他们的败亡，则是由于奢侈。前代的得失，正好成为今天的借鉴。后世昏庸的君主，纵欲无度，不知警戒，终于走向灭亡，令人感慨不已。大抵处心清静，则无欲，能做到无欲，自然就不会骄奢淫逸。欲心一生，则骄奢淫逸无所不至，败亡也就要接踵而至了。联一想到这点，心中就充满警惕戒惧。所以朕必须躬行节俭，给天下树立一个榜样。”
朱元璋在惩治腐败方面则以身作则，善于从现实情况出发，抓住典型中的正反事例，以“惩奢褒俭”为中心，向官员们灌输节约光荣、奢华可耻的思想意识。据洪武三年（1370年）六月，河南蒿县一个姓刘的典史入京朝觐，朱元璋见他衣服破旧，非常高兴，说道：“官员们往往为了锦衣玉食，侵害百姓，这个典史如此贫寒，为官能不清廉吗？”
中书省官员忙将刘典史的廉谨事迹奏上，朱元璋命赐给刘典史一些布帛，以资鼓励。这年十月的一天，退朝时，朱元璋见两个宦官穿着干靴子在雨中行走，召到面前斥责说：“靴子虽不是值钱的东西，也可是老百姓的血汗。你们为什么不爱惜，竟如此暴殄天物！”当即下令打了两个宦官一顿板子，又对侍臣说：“我听说元世祖初年，见侍臣有穿花靴者，斥责说：‘你用完好的皮子做靴子，岂不是浪费物料？肖耗人力。’元世祖说得很好。人如果经历过艰难，则自然知道节俭，如果惯常所见的都是富贵，没有不流于奢靡的。”
朱元璋虽学识浅疏，但考虑每一件事，每道出一句话，却值千金。使官员们服服贴贴，官吏的腐败风气倾向易于好转。