至正二十四年（公元1364年）正月初一，朱元璋从吴国公自封为吴王。不过，他仍然承认滁州韩林儿这位宋皇帝，布告、公文、手令等署作“皇帝圣旨，吴王令旨。”
元璋将行中书省改为中书省，置中书省左右相国。以李善长为右相国，徐达为左相国，常遇春、俞通海为平章政事、汤和为左丞，邓愈、杨璨为参政，汪广洋为右司都事，张昶为左司都事。军事机关，将枢密院正式改为大都督府。各翼元帅府改为卫。取消枢密、平章、元帅、总管、万户等杂乱无序的旧官名，一律以所统兵马的多少编制序列，有兵5000者官名指挥，1000者为千户，100者为百户，50者为总旗，10人者为小旗。谏议官设起居注、给事中。监察官设按察司。中书省、行中书省及以下府州县行政体系已初具规模，官员品级制度、朝参制度也建立起来。
官僚制度的逐步健全，使官僚人员的补给感到困乏，元璋便令中书省广泛搜罗人才，说：“自古圣帝明王建邦设都，必得贤士大夫相与周旋，以成至治。今土宇日广，文武并用，卓萦奇伟之才，世岂无之，或隐于山林，或藏于士伍，非在上者开导引拔之，则在下者无以自见。自今能有上书陈言、敷宣治道、武略出众者，参军及都督府具以名闻。若其人虽不能文章，而识见可取，许诣阙面陈其事，吾将试之。其郡县官年50以上者，虽练达政事，而精力既衰，宜令有司选民间俊秀年25以上，资性明敏、有学识才干者，辟赴中书省，与年老者参用之。十年以后，老者休致，而少者已熟于事，如此则人才不乏而官使得人，尔中书省其下有司宣布此意，悉令知之。”这就把官吏的选聘征辟作为一项制度建立起来。他所设想的青老年杂用、取长补短，并保证政事的连续性，独具见识。
朱元璋清楚，最重要的是在思想上转入纲常礼法的治理轨道。他于至正二十四年（公元1364年）正月初一即吴王位，正月初三退朝后便对相国徐达等武将们说：“你们为百姓着想既然拥戴了我，可知建国之初首先考虑的应该是什么？是正纲纪。元朝的昏乱，就在于纲纪不立，以致主荒臣专，威福下移，法度不行，人心涣散，天下大乱。你们将相大臣辅佐于我，就应该以元朝的失误为镜子，同心协力，以成功业。”又说：“礼法，就是国家的纲纪。礼法立，人心定，上下安。建国之初，最先着意的就是这件事。”意思是说：再不要说大家都是一起混过来的朋友兄弟，没个上下尊卑，今后要君臣分明，讲究个等级名分。用君臣之间的庄重、严肃和敬畏，取代轻忽、戏谑和怠慢，这些话显然对那些一起渡江特别是一起种过田、放过牛的将军们是一个严肃的警告。
对这时全国的形势，元璋在至正二十四年四月有一个大略的分析，他说：今天下用兵，河北有孛罗帖木儿，河南有扩廓帖木儿，关中有李思齐、张良弼。河北孛罗有兵而无纪律，河南扩廓有纪律而兵不振，关中李思齐、张良弼则道路不通，粮饷不继。江南唯有我与张士诚。张士诚多奸谋，尚间谍，御众无纪律。我以数十万之众，修军政，任将帅，待时而动，消灭张士诚指日可待。
朱元璋消灭了西部劲敌陈友谅后，开始把视线移向东部的张士诚。
至正二十三年（公元1363年），张士诚已在平江（今江苏苏州）自立为吴王。张士诚停止往大都运粮，与元廷断绝了关系。
历史只给了张士诚两次机遇，一次他没有去把握，一次他没有把握好，只是不痛不痒地围攻诸全新城，并未触及元璋的根本。等到朱元璋从西线腾出手时，东部战场的主动权就开始掌握在他手中，而张士诚只有被动挨打的份儿了。
这时，士诚所据守的疆土，南至绍兴，北领通州、泰州、高邮、淮安、宿州、濠州、泗州，一直到达山东的济宁。元璋决定先清扫江北，而后南下江浙，攻其心腹，做到步步逼近，万无一失。
龙凤十一年（公元1365年）十月，朱元璋以张士诚“屡犯其境”为由，誓师攻灭东吴的战争。他针对张士诚淮东防守比较薄弱，而且与浙西中间隔着长江、南北兵力不便支援的弱点，制定了“先取通、泰诸郡县，翦士诚肘翼，然后专攻浙西”的战略方针。按照这个计划，整个战争分三个步骤进行。
第一步是攻取淮东，翦其羽翼。
十月十七日，徐达、常遇春、冯国胜、华高等人率马步舟师、水陆并进，直扑泰州，驻军于海安坝上。守将严再兴坚守不出。徐达疏通河道以便舟船行驶，随后包围泰州，击败了张士诚的援兵。张士诚出动四百艘战舰驶进江阴东面的范蔡港（今江苏沙州西），并向江阴方向游动，作出攻取江阴、直趋上流的态势，企图诱使徐达回守江阴，分散他的兵力，然后再进攻包围泰州的军队。果然，江阴守将康茂才告急。朱元璋经过冷静分析，识破了张士诚的意图，他派人传谕徐达只让廖永忠率小部分军队增防江阴，而大军继续留在原地，围攻泰州。不久，朱元璋得到报告，说常遇春遇到敌兵挑战，出海安七十里追击，而敌兵不过万人。他判定这又是张士诚的诡计，传命常遇春不要受敌引诱，坚持以主力攻打泰州。张士诚的计谋没有得逞。闰月十月二十六日，徐达、常遇春攻下泰州，活捉了严再兴。
徐达乘胜进逼兴化，击败守将李清，再攻高邮，朱元璋担心徐达深入敌境，不便于策应诸将，指挥全局，命他还师泰州，坐镇调度，而遣冯国胜继续攻打高邮。
高邮守将俞同佥派人到国胜营中诈降，相约以推倒城中女儿墙为信号。国胜信以为真，当晚即派康泰率一千人入城，结果全部被杀。朱元璋闻讯大怒，把冯国胜召到应天，下令打了他几十大板，并罚他步行回高邮。冯国胜把一肚子的气都撒在战场上，督令将士拼命攻城。徐达也领兵支援。两人合兵一处，很快攻破了高邮，生擒了俞同佥。
在徐达回防泰州的时候，朱元璋同时派兵攻伐濠州、泗州、安丰。至正二十六年（公元1366年）四月初九，攻克元璋的家乡濠州。四月十一日，徐州守将陆聚以徐州、宿州二城向徐达投降。元璋命陆聚为江淮行省参政，仍然驻守徐州。四月二十日，徐达率部攻克左君弼等控制的安丰。张士诚的淮东、淮西之地全部落入朱元璋的掌握之中。
元璋听到家乡濠州克复，感到特别兴奋。如果从草葬父母由汪大娘礼送皇觉寺算起，离开钟离太平乡孤庄村那个生他养他的地方已有21个年头，从投军后离开濠州南略地远，也有整整12年。元璋决定回乡祭扫父母的坟幕。四月初九攻克濠州，四月十三日便从应天出发。这是他首次衣锦还乡。
至龙凤十二年（公元1366年）四月底，兴化、宿州、安丰等地相继被攻占，淮东平定。
第二步是攻取湖州、杭州、嘉兴，断其两臂。
是年七月底，朱元璋召开军事会议，讨论的主题是何时对张士诚发起进一步的攻击。李善长认为虽然张士诚屡遭挫败，但他手中仍握有重兵，加上地广民富，立即进攻恐无取胜把握，主张放慢节奏，寻隙而动。此看法得到了多数人的赞同。但徐达不同意，他提出应立即出兵，理由是“张氏骄横，暴殄奢侈”，正是灭亡他的大好时机。朱元璋笑着对徐达说：“其他人局于所见，没有说到点子上，只有你的看法符合我的意思，看来事情一定能够成功了。”于是，下令诸将检阅士卒，择日启程。
大将常遇春有点急于求成，一心想直捣平江，说：“逐枭者必覆其巢，去鼠者必薰其穴。此行应直取平江，平江既破，其余诸郡可以不劳而下。”朱元璋分析说，张士诚是私盐贩出身，与湖州守将张天祺、杭州守将潘元明等人都是蛮横之徒，又相为手足。张士诚有难，张天祺、潘之明必然全力来救。援兵四合，我军难以获胜。不如先攻打湖州、杭州，使他们疲于奔命，翦其羽翼，然后移兵平江。这样就可以胜券在握。常遇春还想坚持自己的想法，朱元璋生气地说：攻湖州失利，是我的责任；如攻平江不克，我就拿你问罪。常遇春这才没话说。其实，像这种必胜之仗，还要有必胜之算。它的长处在持重，在慎密，失算在冒进，在轻敌。完全可以走迂回的路，稳扎稳打，没必要冒险一搏。元璋的战略，事实证明是正确的。当初叶兑上书的建议也是如此。
与此同时，朱元璋发布讨张檄文，列举士诚的8条罪状，檄文如下：
“惟兹姑苏张士诚，为民则私贩盐货，行劫于江湖，兴兵则首聚凶徒，负固于海岛，其罪一也。又恐海隅一区，难抗天下全势，诈降于元，其罪二也。其后掩袭浙西，兵不满万数，地不足千里，潜号改元，其罪三也。初寇我边，一战生擒其亲弟，再犯浙西，扬柔直捣于近郊，首尾畏缩，又乃诈降于元，其罪四也。阳受元朝之名，阴行假王之令，挟制达丞相，谋害杨左丞，其罪五也。占据浙江钱粮，十年不贡，其罪六也。知元纲已坠，公然害其丞相达失帖木儿，南台大夫普化帖木儿，其罪七也。恃其地险食足，诱我叛将，掠我边民，其罪八也。凡此八罪，理宜征讨，以靖天下，以安斯民。爱命中书左丞相徐达总率马步舟师，分道并进，攻取浙西诸处城池。已行戒饬军将，征讨所到，歼其首魁，协从不问。凡我逃逋臣民，被陷军士，悔悟来归，咸宥其罪。其尔张氏臣僚，果能明哲识时，或全城附顺，或弃刃投降，名爵赏赐，余所不吝。凡尔百姓，实业不动，既我良民，旧有田产房屋，仍前为主。敢千百相聚，抗拒王师，即当移兵剿灭。凡余之言，信如皎日，咨尔臣庶，毋或自疑。”
此时，无论从舆论上还是军事上已做好讨伐张士诚的一切准备。
这是一篇成熟的政治宣言。若撇开署名只从口气上看，倒像是元朝政府发布的檄文。这里，朱元璋公开指责红巾起义军为以妖言惑众的烧香之党，咒骂他们焚毁城廓，杀戮士人，这就彻底否定了自己当年投身郭子兴起义军进行反元斗争的历史，以显示他是济世安民，应运而生的王者，而非一般的流民草寇。这无疑是在为其日后登基制造舆论。他罗列张士诚的罪状，也多是说他反叛元廷，而把自己装扮成维护封建王朝的救世主。他当然不会真的去拯救垂死的元王朝，只不过是暂时利用一下它的招牌去最大限度地孤立和打击眼前首要的敌人。在和最后的对手决战以前，非但不去触动它，反而在政治上祭起了它的大旗，为己所用。朱元璋不愧是一位深谙策略斗争的高手。
八月初四，徐达、常遇春统军20万，水陆齐发，向太湖挺进。八月二十五日，到达湖州城外的三里桥。湖州守将张天祺分兵三路出城迎战。徐达也拉开了阵式。常遇春军中的一位占卜术士说，今天不易出战。遇春不予理会，说：“两军相遇，不出战还等什么！”拍马直冲敌阵，军士们呐喊着一齐往向冲。张天祺吃了败仗，退回城中，闭门不出。徐达、常遇春趁势包围了湖州。
湖州的胜败，对士诚来说是生死攸关的，必然倾全力救援。徐达兵临城下，士诚遣平章朱暹、王晟、同佥戴茂、吕珍、院判李茂，以及他的五太子，率军6万号称20万，屯驻湖州城东的旧馆，筑成5个营垒，倚背自固，互为声援，意在对敌内外夹击。徐达、常遇春、汤和等分兵驻扎于旧馆以东东阡镇南面的姑嫂桥，筑10垒相连，以截断对旧馆的援军，显然是要布置一场湖州城外的旧馆大战。士诚的当务之急一下子又成了对旧馆的增援。他派出他的女婿潘元绍兵出乌镇，从东南方向策应旧馆。徐达则以打援战术围困旧馆的军队。他于夜间发动突袭乌镇，将潘元绍赶回嘉兴。接着填塞旧馆附近沟港，断绝它的粮道。燃眉之际，张士诚亲自率部白嘉定方向增援，徐达也自率精锐南下截击，皂林一战，大获全胜，俘虏甲士3000，张士诚败走。九月十二日，张士诚改侧面救援为正面进攻，派同佥徐志坚以舟师出东阡镇，袭击徐达姑嫂桥之垒。徐达趁大风雨天气派常遇春率勇士划数百只轻舟向敌船冲袭，敌舰闻风丧胆，纷纷败逃，徐志坚以下2000余人被俘。
十月，常遇春攻破湖州与旧馆之间的昇山陆寨，守将王晟投降。徐达再攻昇山水塞，张虬从旧馆率水师援助，与常遇春展开激战。遇春用火攻，烧毁了张虬的战船。张虬、吕珍、朱暹被迫出降，旧馆守军覆灭。
徐达把吕珍、王晟带到湖州城下，对李伯昇劝降。吕珍不愿向城里喊话，被徐达斩于城下。李伯舁知道湖州已不可守，但觉得自己深受士诚厚禄，不忍背叛，于是想抽刀自杀，被左右抱住。这时，张天祺已打开城门出降。李伯舁不得已也只好投降。
在徐达大军对湖州进行攻坚战时，朱元璋还派李文忠攻打杭州，华云龙进攻嘉兴，以牵制张士诚。
李文忠先攻克了新城和富阳等地，接着进兵余杭（今浙江旧余杭）。
余杭攻下，杭州已没有屏障可恃，守将潘元明主动请降。文忠整队入城，潘元明率部众列队欢迎，还把杀害胡大海来投的苗军将领蒋英、刘震捆绑起来交给李文忠。为了讨文忠的欢心，潘元明叫来一队女乐歌伎，载歌载舞，表示欢迎。李文忠大声叱退。朱元璋对杭州全城归顺，非常高兴，命以原官守城，听从李文忠节制。同时，对蒋英、刘震等人加以严惩。特命摆置胡大海的灵堂，悬挂他的画像，将二人斩首，用他们的血祭祀大海的灵位。
嘉兴和绍兴等地也不战而降。
第三步是围困平江，捣其巢穴。
徐达兵围封门，常遇春围虎丘，郭兴围娄门，华云龙围胥门，汤和围阊门，王弼围盘门，张温围西门，康茂才围北门，耿炳文驻城东北，仇成驻西南，何文辉驻西北，八面筑垒，旌旗相望，阵势赫然。但是，苏州城布防坚固，加上粮草充足，外有无锡莫天祐的声援，徐达几次攻击都没能奏效，看来要想在短期内攻陷也相当不容易。元璋仍然像攻打武昌那样采取围困战术。
至正二十七年（公元1367年）五月初，苏州被困五个多月，已是气息奄奄，元璋下书张士诚，劝他投降，士诚不予理会。六月初四，张士诚准备进行突围一拼。但在几个门的冲击都告失败，士诚亲自殿后，也马惊堕水，几乎丧命。
这时降将李伯升派他的门客再去对士城说降。门客说：“我有一策，恐公不能相从。”士诚曰：“不过死罢了。”客曰：“死而有利于国家，有利于子孙，死固应当，不然，徒然自苦。公不闻陈友谅吗？跨有荆楚，兵甲百万，与应天之兵战于太平，鏖于鄱阳，友谅举火欲烧应天之船，天乃反风而焚之，兵败身丧。为什么？天命所在，人力莫可奈何。今公靠湖州之援，湖州失；靠嘉兴之援，嘉兴失；靠杭州之援，杭州失。而独守此尺寸之地，誓以死抗。我恐形势至于极端而祸患生，一旦变难起于内，公那时欲死不得，生无所归，悔之晚矣。故为公着想，莫如顺天之命，自求多福，遣一介使臣，急走金陵，告以归义救民之意，开城待命，亦不失为万户侯。而且，公之地，如博如奕，昔得之人而今失之，于公有何损失！”士诚伏思沉吟，对门客说：“待我想一想。”而终于不肯投降。
城中的形势继续恶化。张士诚最后一次试图出城决战，他亲自率兵出胥门向常遇春挑战。士诚的军队作最后一搏，个个死战，倒也神勇。常遇春有些抵挡不住。这时正在城上督战的张士信却莫名其妙地大喊：“军士累了，停止前进！”命令鸣锣收兵。常遇春趁此机会反攻，一直追到城下，并在城门边筑起了堡垒，进行攻城。张士信在城楼上设置帐幕，正与参政谢节等一起用餐，一盘桃子刚刚端上，突然一个飞炮打来，正中帷幕，张士信脑碎丧命。士诚更加沮丧。
又围困了三个月，至正二十七年（公元1367年）九月初八日，徐达下令发动总攻。他们先攻破了葑门，又破了闾门，潘元绍等投降。徐达督队攀登内城，士诚遂命枢密副使刘毅收拾余兵，士诚亲自指挥巷战。刘毅也兵败投降。士诚率几个骑兵仓惶回府。看到他的妻子自缢，诸妾已在齐云楼自焚而死，家里一个人也没有了，两个平日依偎在身边的小儿子，此时也不见了身影。除去各处的散乱狼藉，显示出这里昔日的繁华已烟消云散，余下的便是空荡与死寂。士诚突然觉得一阵轻松，几个月来的紧张、忧愁烦恼，顿时化为乌有。他脸上闪过一丝苦笑，慢步向内室走去。徐达的大军尾随而至。他派李伯升入府搜索，李伯升的旧将赵世雄见士诚内室反锁，遂破门而入。当把张士诚从悬绫上放下，发现他尚有余温，终于把他救活。士诚闭目不语。徐达让人用门板把他抬到船上，解往应天。所俘获的士诚京城苏州官属部将及杭州、湖北、嘉兴、松江等府官吏，连同他们的家属共20几万人随同押往应天。
张士诚在途中坚持躺卧不起，而且闭目不食。到了应天，他也不肯起来，还是被人抬到中书省的大堂上的。右丞相李善长问话，他闭目不予理会。善长大声喝斥，士诚蔑视地睁开眼睛，大骂善长狗仗人势。善长命人把他抬去见朱元璋，张士诚依然闭目不语。赐给他食物，他不吃；赐给他衣物，他也不接受。元璋很是气愤，叫人把他扛到竺桥，一顿乱棍把他打死。士诚死后，无锡守将出降，东吴灭亡。
从至正二十五年（公元1365年）十月十七日出师泰州到至正二十七年（公元1367年）九月初八苏州陷落，共用了23个月，而从出师湖州算起，则用了一年多一点的时间。
张士诚自至正十三年（公元1353年）32岁与李伯升、潘原明、吕珍等18弟兄起兵，势如狂飚，威震淮东，虽曾一度高邮受挫，然厥而复起，很快便占领苏、松、杭、嘉、湖最富有的地区，为各路割据势力所欣羡。但是东南财富之区没有成为士诚走向统一全国的根据地，而成为他割地自保、向元王朝要挟官爵的本钱，成为加速这支农民军享乐腐化的灭亡剂。张士诚很快就不历战阵，甚而不理政事。张士诚的三个弟弟中以张士德最有才干，张士信最狂妄。大弟士义早死，二弟士德被擒，士诚安于享乐，就渐渐把权柄交给了三弟士信。
张士信生性骄奢淫逸，有后房姬妾百余人，教以天魔之舞，园池中的采莲舟都是用沉檀木做成的。于是文臣武将起而效尤。吃了败仗，丧师失地，士诚与士信也不加过问，下次出征，仍用做统兵将领。山阴杨维祯是东南一方的大名士，张士诚屡屡招纳。维祯有感于他的诚意，对国事提出忠告，其中说道：“阁下为将师者，有生之心，无死之志；为守令者，有奉上之道，无恤下之政；为亲族姻党者，无禄养之法，有悻位之权；阁下又信佞为忠，信诈为直，信贪虐为廉良。拜敌求生，望敌先逃者，阁下皆礼之为好人，养之为大老。则死节之人少，卖国之人众矣。是非一谬，黑白俱紊，天下何自而治？及观阁下左右参议机密者，未见其针砭时弊，规进阁下于远大之域，以致使阁下丧失可为之时，可乘之势。阁下因习于小安而无长虑，岂不使东南豪杰寒心而却步！”士诚等喜好媚语而厌恶直言，竟弃而不用，以致身败名裂。
陈友谅、张士诚从社会的最底层发迹，成为统率千军万马，使王侯将相威风扫地身遭灭顶之灾的风云人物。但较之朱元璋，他们的战略战术、见识智慧，毕竟稍逊一筹，而最终成为朱元璋的箭下之鬼，阶下之囚。陈友谅、张士诚、刘福通等人既作了清道夫，又作了铺路石。朱元璋攻灭了张士诚。后来他在总结自己战胜大汉、东吴两个劲敌的经验时，对群臣说：“元末群雄中，张士诚、陈友谅最强大。士诚地方富庶，友谅兵力雄厚。这两点，我都不如他们。我靠的只是不乱杀百姓，说话算数，作事认真以及大家的同心协力，才获得成功。当初，我处在他们两家中间，有人劝我先进攻东吴。但我认为，友谅志骄，士诚器小。志骄的好生事，器小的没大志，安于守成，所以决定先攻陈友谅。鄱阳湖决战时，张士诚果然龟缩在平江，没有配合友谅对我进行东西夹击。假如我先攻张士诚，陈友谅一定会倾巢而出，我被迫两线作战，腹背受敌。那样的话，胜负就难以预料了。”
这番总结真是抓住了命脉。如果战场上两军之争可以归结为两军统帅的较量或看成两个人的对弈，那么完全可以说，朱元璋个人的综合能力确实高出对手一筹。