然而，无政府主义与马克思主义毕竟有着根本的性质差异，当两者的宣传日渐深入时，这一点也就表现得日益明显。1919年中，无政府主义者、北大学生黄凌霜发表《马克思学说的批评》一文，首先代表无政府主义者对马克思主义发难。黄氏虽然在文中肯定了马克思的剩余价值原理，但更多的是站在无政府主义立场上否定马克思主义。他非难无产阶级专政，反对一切政权形式，表示：“无政府党人以为国家的组织，从历史上观之，无非建立私权，保护少数特殊幸福的机关。现在教育、国教和保护领土种种大权，都在政府掌握之中。若更举土地、矿山、铁道、银行、保险，等等都给了他，谁保国家的专制，不较现在还要厉害……我们的首领，谁保他们不变了拿破仑、袁世凯呢？且社会主义，不应当压制个人的自由。社会民主党的政府，又要设立什么工兵农兵，这不是压制个人的表征吗？”《新青年》第六卷第五号。黄凌霜文章发表后，朱谦之等无政府主义者也相继发表文章，批评马克思主义，反对无产阶级专政。
无政府主义对马克思主义的攻击，起初没有引起马克思主义者的更多重视，由于在反对现有权威这一点上，双方有一定的相通之处，因而初期马克思主义者是以无政府主义为盟友的，无政府主义者也承认布尔什维主义是“一个能够做媒摆渡的工具”。《无政府主义思想资料选》（上），472页，北京大学出版社，1984。但是，随着马克思主义力量的不断壮大，马克思主义与无政府主义间的分歧愈显露，无政府主义对马克思主义的攻击更加激烈，无政府主义的消极影响也日趋严重。在此情况下，马克思主义者开始着手向无政府主义者发动反击。
1920年9月，陈独秀在《新青年》发表《谈政治》一文，首先对无政府主义展开批评，拉开马克思主义者批判无政府主义的序幕。接着，《新青年》相继发表陈独秀的《社会主义批评》、《下品的无政府党》等文，继续对无政府主义展开批判。1921年春，无政府主义者区声白三次致信陈独秀，就陈在《社会主义批评》中对无政府主义的批判进行辩护。陈将两人的通信以《讨论无政府主义》为题在《新青年》辟专栏发表，进一步使双方争论明朗化。1920年11月，《共产党》月刊出版，成为批判无政府主义的另一重要阵地，该刊第1号至第5号的《短言》都对无政府主义进行了批判，并陆续发表李达的《社会革命的商榷》、《无政府主义的解剖》，无懈的《我们为什么主张社会主义》，施存统的《我们要怎么样干社会革命》以及张闻天的《无抵抗主义底我见》等一系列文章，从马克思主义理论立场的高度，对无政府主义的理论和实践，进行了较为全面的剖析和批判。应该指出过去被忽视的一个历史事实是，如前述日本学者石川桢浩所发现的，施存统在这场斗争中作出了重大贡献。他从日本译回的《哥达纲领批判》和他写的文章，及时地为这场斗争提供了锐利的武器。中共中央主办的新青年社于1922年出版《社会主义讨论集》（主要批判无政府主义，当时中共党员的必读文献）一书，其中施存统的论文仅次于陈独秀，多达五篇。
马克思主义者与无政府主义者的主要分歧在于是否要实行无产阶级专政，是否要有无产阶级的政权形态和经济组织。陈独秀与区声白的三次通信，主要从经济事实层面驳斥了无政府主义不切实际的错误观点。区声白指责无产阶级专政剥夺个人自由，没有充分重视个人的自由权利，同时夸耀无政府社会是自由组织的，人人都可以自由加入，自由退出，享有绝对的自由权利。对此，陈独秀反驳说：“若是事无大小都要人人同意，那不肯同步的少数，不肯牺牲自己的意见服从多数，除了退出无他办法，照这样常常纷乱起来，大规模的生产团体里，一日之内不知有多少事，一日之内便不知有多少人退出，多少人加入，在事务和技术的经济上熟练上看起来，非闹到停顿而破产不止。”而且，“一团体内意见不同的分子还可以说自由退出”，但“一社会内意见不同的分子或一团体，有何方法可以自由退出”。陈独秀：《讨论无政府主义》，《新青年》第九卷第四号。改变社会现状的唯一办法是立足现实，积极进取，努力改革社会制度，而不是采取退出之类的不负责任态度，无政府主义所谓“绝对自由”的追求，于社会改革和发展言，只能是成事不足，败事有余。
作为早期主要的马克思主义理论家，李达在批判无政府主义中再次显示了其理论水平。李达从无政府主义的哲学基础入手，尖锐地指出，“能够成为无政府主义的，只有几个主义”，个人主义是无政府主义的核心。无政府主义的几大鼻祖施蒂纳、蒲鲁东、巴枯宁、克鲁泡特金等都具有鲜明的个人主义特征，都主张个人的绝对主权和自由，主张放纵个人的心意性格。这种以他人存在为敌的极端个人主义思想，实际是自私品格的宣泄，由此所生发的破坏作用，为任何社会所难以承受。
李达强调，无政府主义者否认一切国家，要求摆脱一切束缚，将国家机关、政治权力、法律统统视为对立面的观念是错误的。“资本主义机关的国家、法律、政治，本是劳动阶级仇恨的，若是社会主义的国家、政治、法律，劳动阶级就会欢迎之不暇了。”李达：《无政府主义之解剖》，《共产党》第四号。在社会主义社会，强制仍然是必要的，因为“要把有产阶级势力连根铲净，非一时的暴动所能成功的，至少非有比较长期的压制不可，而要行比较长期的压制，非把政权夺到无产阶级的手上来不可”。无懈：《夺取政权》，《共产党》第五号。针对无政府主义者宣传的空想社会主义，马克思主义者揭示了向共产主义奋斗的过程，指出：我们的最终目的，也是没有国家的……阶级一天一天趋于消灭，国家也就一天一天失其效用。我们的目的并不是要拿国家建树无产阶级的特权，是要拿国家来撤废一切阶级的。《我们要怎样干社会革命？》，《共产党》第五号。共产主义者的境界及其现实性、合理性，当然非无政府主义者可比。
马克思主义与无政府主义的争论，在五四之后的中国政治思想界影响重大。论战持续了一年多时间，涉及范围除两派论者外，还包括各自的一些同情者及社会各界人士。马克思主义在这场论战中可说是大获全胜，大批激进青年通过论战，弄清了马克思主义与无政府主义的界限，从而走上了马克思主义的道路，有些原为无政府主义的信仰者也由此转向马克思主义，即连无政府主义的论战主将区声白也在致陈独秀信中承认无产阶级专政“乃今日社会革命惟一之手段，以后唯有随先生之后，为人道尽力而已”。《新青年》第九卷第六号。正如刘少奇指出的：在起初各派社会主义的思想中，无政府主义是占优势的。马克思主义的拥护者到处都与无政府主义的拥护者争论着、斗争着。马克思主义直至在各方面克服无政府主义以后，并与中国的工人运动、人民反帝运动结合以后，才成为中国政治生活中的一个雄厚的力量，并在这以后马克思主义永远在中国新文化运动中占着主要的地位。刘少奇：《五四运动的十二年》（纪念专辑），《中国青年》第一卷第二期。
马克思主义的胜利，表明了马克思主义无坚不摧、所向披靡的巨大威力，同时也和无政府主义在中国缺乏基础有关。无政府主义鼓吹个人绝对自由，放纵主观心意，遇事好走极端的思想性格与中国传统重和谐、主中庸的民族性格有极大的抵触，其偏于空想的对未来社会的设计虽能一时产生影响，但和当时社会普遍望治的心理也不相合拍。在社会急剧变动时期，其偏激的观念可以在部分激进青年中引起共鸣，但一旦时过境迁，社会思想趋于沉静时，其被淘汰的命运是必然的。尤其遇上马克思主义这样强劲的对手后，更是难以抵挡。事实上，相对于改良主义而言，无政府主义对马克思主义的威胁显然要小许多。
也许是胜利来得太过容易，也许是对手过于不堪一击，论战中提出的一些本该深入研究的问题并未进一步展开。如关于无产阶级专政的问题，虽然马克思主义者有力地批判了无政府主义者取消无产阶级专政的观点，但对如何进行无产阶级专政，如何在社会主义条件下防止专政可能带来的一些问题，马克思主义者没有作出有力的回答，而且，在他们看来，这似乎根本不应成为问题。陈独秀、李达就明确指出，无政府主义者对社会主义国家权力的忧虑完全多余。这种过分的自信在当时尚不足以产生什么负面影响，但流风所及，对此后的中国革命是有一定的不良作用的。中共在较长一段时间内过于轻信制度本身的力量，忽略了如何完善制度建设、如何完善无产阶级专政，由此带来的一些问题和这种自信当不无关系。另外，在批评无政府主义者主张绝对自由的同时，某些人又表现出轻视民主、过分强调统一集中的倾向，陈独秀就认为：“有史以来革命的成功，无一不是少数人压服了多数人。”《新青年》第九卷第四号。对历史进行了错误的总结，这一倾向在不久后的中共党内，就出现了不良的苗头。
还须指出，马克思主义在中国的早期传播与运用，除了遇到以上种种反马克思主义思潮和政派的反抗与攻击之外，还遭到北洋军阀反动当局的严厉镇压。当时宣传马克思主义的主要刊物《新青年》、《共产党》、《劳动界》等，被列为“禁书”，严禁出版和销售。这说明当时在中国宣传马克思主义是一项十分危险的工作。