同过去的国内革命战争相比，抗日战争时期我军的作战环境发生了重大改变。首先，我们的主要敌人是东方最强大的、在世界上也是一流的日本帝国主义，敌我在武器装备、军队数量与质量上的优劣对比极其悬殊。其次，我们的友军——国民党军队始终对我怀有敌意，不放弃吞并甚至完全消灭我军的企图。再次，国内有两个战场，正面战场与敌后战场。我军的主要任务是，深入敌后，独立自主地发动、组织、武装群众，建立敌后根据地，开展游击战争，支撑敌后抗战局面。根据新的作战环境的要求，全国抗战爆发后，我军实行了由过去的正规军和运动战向游击军和游击战的战略转变。随着这一转变的实现，毛泽东等中共领导人采取了多种有利于发展和壮大人民武装力量的措施，为复杂环境下人民军队的建设积累了新鲜的经验。
全国抗战爆发时，中国共产党直接领导的八路军、新四军仅5万余人。党赋予军队的任务是，深入广大敌后开展游击战争，在战略上配合正面战场，经过持久战战胜日本侵略者。面对上百万装备精良、训练有素的日本侵略军，要完成如此伟大的任务，这支军队需要有很大的发展。抗日战争为我军的大发展提供了较好的政治条件，但是敌后恶劣的生存环境却从物质上限制了我军的发展。为了正确解决这一矛盾，中共中央、中央军委规定了稳步发展、建设精兵的发展道路。
红军抗日时，陕北主力红军在改名的同时进行了缩编。根据中共中央的部署，主力红军缩编为三个师，大大减少了机关，加强了作战部队，使出师抗日的八路军成为一支比较精干的部队。我军在向敌后挺进，组织、武装敌后广大群众开展抗日游击战争过程中，自身也得到较快发展。为保证质量，较好地适应敌后困难、复杂的生存环境，中共中央、中央军委不断发出指示，强调我军的发展要以精干为前提，把提高质量放在首位，并及时采取相应措施，调整机构，加强整训，使数量的发展与质量的提高得以协调进行。1939年3月，周恩来在谈到新四军的建军工作时指出，要“以强大为原则，也就是说，第一要精，第二要发展。我们不能忽略精的方面，因为我们的扩充是有限制的。我们要使一个人有十个人的用处，一个干部当一百个干部用”。1939年后，日寇加强了对华北敌后根据地的进攻。由于敌人的“扫荡”、封锁和蚕食，根据地出现困难。为了克服困难，坚持敌后抗战，1940年6月29日，八路军首长发出关于坚持长期抗战必须提高部队质量加强军党政民团结的指示，强调根据地工作要着眼于长期坚持，勿使枯竭。八路军华北各部队，除山东、冀南外，一般应停止扩大，各地区（山东在内）要整编现有部队，归并不充实的部队，加强军事、政治质量，整编后求得经常保持满员。
进入1941年，由于日军进攻的不断加剧，敌后抗日根据地逐渐缩小，这与已经有了较大发展的各根据地的军事机构形成了较为突出的矛盾。为减轻根据地人民的负担，战胜当前的极端困难，11月7日，中央军委在关于抗日根据地军事建设的指示中提出，根据地的军事建设，必须适合新的客观环境，每个根据地的军事机构应包括主力军、地方军、人民武装（即不脱离生产的自卫队、民兵）三个部分。目前军事建设的中心注意力，应放在地方军及人民武装的扩大与巩固上，主力军应采取适当的精兵主义，其工作重心是提高自己的政治军事技术质量，缩编与充实编制。指示明确规定，主力军与地方军的比例，山区为二比一，平原为一比一，在某些最困难的地区，应打消主力军与地方军的区别，全部武装地方化。12月，中共中央发出精兵简政的指示。毛泽东在论述精兵简政政策时指出：“战争的机构和战争的情况之间已经发生了矛盾，我们必须克服这个矛盾。敌人的方针是扩大我们这个矛盾，这就是他的‘三光’政策。假若我们还要维持庞大的机构，那就会正中敌人的奸计。”“目前我们须得变一变，把我们的身体变得小些，但是变得更加扎实些，我们就会变成无敌的了。”根据中共中央和中央军委的指示，我军的各级机构普遍进行了精简整编，缩小了机关，充实了连队，撤销了各纵队的指挥机构，减少了指挥层次，并将主力旅与军分区合并，加强了地方部队，经过精简整编，使各级组织更加精干，指挥更加灵便，不仅大大提高了部队的战斗力，而且减轻了根据地人民的负担，使我军更适合于敌后抗战所处艰难环境的要求，同时也促进了群众性游击战争的广泛开展。
为确保正规军质量，八路军、新四军在发展过程中，除强调要稳步发展、走精兵之路外，还注意吸取国内革命战争时期的经验，采取了由低级到高级的渐进道路。首先是广泛发展群众武装，建立很多的游击队；经过一个阶段的实战锻炼后，游击队发展成为地方军性质的游击兵团；再经过一个阶段的整顿与发展，最后上升为正规军。这样一种发展道路，体现了建设精兵的思想，是在艰苦环境中扩大人民军队的最佳道路。1941年《中央关于建军问题的决定》指出，发展部队，应广泛采用各种方式，个别动员、组织游击队。经过地方政权、群众团体和地方进步分子发动，把地方武装过渡到主力部队。最好的方式是繁殖和发展游击队，走由游击队到正规军的发展道路。
走由游击队到正规军的发展道路，一方面要反对保守主义，另一方面又要反对急进主义。彭德怀指出，游击队有浓厚的地方性，保存着许多坏的习惯，必须及时提高其战斗力，升级为正规军。如果应当升级而不升级，就难以巩固。同时，又须克服“连根拔”的办法，不要一下子把游击队都吞下去。这就如同一下子把母鸡全部杀掉，以后就没有生蛋的了。而且没有地方游击队，决难长期坚持敌后抗战。“地方武装不能随便编并到野战正规军中去。地方军要由小而大，由弱而强，本身逐渐升级为正规军。”
为适应敌后游击战争复杂环境的要求，我军作战部队的编制体制也表现出了高度的灵活性。
抗日战争时期，我军出现过许多不同名称的作战单位，如游击兵团，游击支队、先遣支队、挺进纵队、工作团、武工队等。这些作战单位，大都根据临时需要编成，没有统一固定的编制，完全视当时当地的情况而定，其突出特点是，任务明确，机构精干，较适合于敌后复杂、艰苦条件下打游击战、做群众工作的需要。如武工队，它最早出现于1941年夏，当时日军在华北推行“治安强化运动”，不少抗日根据地变为游击区，不少游击区变为敌占区，根据地日益缩小，而且遭受严密封锁，经济物资十分困难。为打破此种局面，一二九师组织武装宣传队，深入敌占区，宣传民众，揭露敌人，瓦解敌人，在敌封锁分割的格子网内建立隐蔽根据地。1942年1月，中共北方局肯定了这种新的组织形式和斗争方式，要求各根据地从军分区或野战旅抽调政治坚定、善于做群众工作的营以下干部，会同地方党、政机关抽调的干部，统一组成若干支短小精干、有一定战斗力的武装工作队，实行“敌进我进”方针，向敌后之敌后发展，同敌人展开军事、政治、经济、文化等全面的群众性斗争。根据这一指示，各根据地先后派出许多武装工作队，每队十至三五十人不等，深入敌占区开展工作。武装工作队是在共产党领导下的一元化的军政民的统一组织，是一种军事斗争与政治斗争结合的单位。它虽然规模不大，但能担负宣传、组织、武装群众三位一体的任务。大批武装工作队和小分队深入敌后之敌后开展游击战争，为挫败敌人的“治安强化运动”，配合粉碎敌人的蚕食、“扫荡”，巩固和发展抗日根据地，扭转严重的斗争形势，起了重要作用。
武器虽不是决定战争胜负的唯一因素，但却是重要的因素。毛泽东等中国共产党领导人在抗日战争中强调发挥人的主观能动性的同时，从来没有忘记提高部队的现代化水平。毛泽东曾强调说，八路军的基本特点，是技术装备不如敌人，也不如某些友军，“因此，如何加强技术装备以便战胜敌人，成为八路军在抗战新阶段中的严重任务。”《中央关于建军问题的决定》提出，最大限度地扩大和发展正规的常备军，在战术上和技术上尽量提高现代化水平，造成在中国革命中起决定作用的一支强大的武装力量，这是党的首要任务。
处在当时的恶劣环境中，为了提高我军的现代化水平，中共中央、中央军委强调了三点：一是大力缴获敌人的武器装备用以改善自己的武器装备；二是加强干部的培养，提高干部的科学文化水平和指挥能力；三是注意吸收同情我军的知识分子和专家加入到我军中来。对于后一点，中共中央、中央军委曾多次发出指示，予以反复强调。1939年12月1日，中共中央作出大量吸收知识分子的决定，批评我军一些干部，没有注意到知识分子的重要性，存在着恐惧甚至排斥知识分子的心理，要求进一步加强有关这方面的工作，大量吸收知识分子加入我们的军队。同时，切实地鼓励工农干部加紧学习，提高他们的文化水平，使工农干部的知识分子化和知识分子的工农群众化同步进行。1941年4月23日，中央军委在关于军队中吸收和对待专门家的政策指示中，强调了吸收专家参加我军的重大意义，指出：“一个军队没有大量的专门家（军事家、工程师、技师、医生等等）参加，是不可能成为一个有力量的组织的。”指示要求坚决反对狭隘思想、反对不科学及反科学的落后现象，反对脱离社会的孤芳自赏。我军只有尊重科学并与科学结合起来，才能更进一步提高自己的建设水平。我军只有深入社会与社会各方面联结起来，才能得到发展与巩固，完成中共中央赋予的光荣任务。从这一认识出发，中央军委规定了对待专家的各项具体政策，如要以他们的专门学识为标准而不以其政治知识为标准，要充分地信任他们，根据他们的实际能力给予负责工作；物质上给以特别优待，以解除他们的后顾之忧。对于特殊的人才，不惜重价延聘，尽可能购置他们所需要的科学设备，保证他们的安全，为他们创造良好的工作条件等等。
抗战期间，我军处在敌后，条件极其困难。因受多方面限制，此时的所谓现代化建设仍然是低水平的，规模也很小，但提出这一问题，本身具有重要意义，标志着建军思想上的进步，它为建国后我军开展大规模现代化建设奠定了初步的思想基础。
除了采取以上加强人民军队建设的必要措施之外，为提高军队质量，使部队稳步而健康的发展，抗战时期我军还利用作战间隙，进行了两次较大规模的整训。
第一次是1939年至1940年的整训。这两年是我军大发展的时期。1938年底，八路军总兵力为15.6万多人，新四军为2.5万多人。1939年底，八路军发展到27万多人，新四军发展到5万多人。1940年底，八路军又扩大到40万多人，新四军扩大到10万多人。由于发展迅速，部队中的新成分大量增加，政治质量参差不齐；新组成的部队成分比较复杂，还不巩固；加上战争频繁，许多部队未经很好的教育和训练，干部的组织指挥能力和部队的战术技术水平较低，与日益复杂艰苦的斗争环境的要求不相适应。同时，由于部队长期分散活动，受周围非无产阶级思想侵蚀，军阀主义、游击主义等不良倾向在滋长。这些情况如不及时改变，将直接影响部队建设及抗日根据地的发展与巩固。
为提高部队的战斗力，巩固挺进敌后以来大发展的成果，中央军委、八路军总部于1939年2月、6月和1940年2月连续发出指示，要求对全军各部队进行普遍整训，以巩固和加强党在部队中的绝对领导，加强政治思想工作，加强内部团结，发扬人民军队的光荣传统，克服军阀主义和游击习气，使部队在思想上、政治上、组织上大大提高一步。并要求在政治整训的基础上，加强军事整训。军事整训的重点为游击战的战术和射击、投弹、刺杀等技术训练。在军政整训的基础上，进行组织编制整顿，健全各种规章制度。
根据中央军委的指示，八路军各部队按照统一的部署和各自的具体情况，分别利用作战间隙进行了整训。各部队在整训中，始终把加强党的建设放在首位，学习中共六届六中全会精神和党的基础知识，学习毛泽东的《中国革命和中国共产党》一文以及马列主义哲学和政治经济学等。在抓好政治思想教育的基础上，健全党的组织生活，开展批评和自我批评。并注意纯洁内部，吸收先进分子加入党的组织，从而使部队中共产党员的数量、质量都得到提高。据一些部队统计，经过整训后，主力团中共产党员人数占部队总人数一般都在40%左右，地方团也达到了30%。在整顿党的组织的同时，对部队进行了形势教育、阶级教育、光荣传统教育和政策纪律教育，使全体指战员对抗战的前途和自己所肩负的历史使命都有了比较明确的了解，从而坚定了抗战必胜的信心。在整军中，全军普遍开展了投弹、射击、刺杀、爆破、土工作业和单兵、班、排、连的技术战术训练。
在军事整训的基础上，还进行了整编。根据八路军总部的计划，1939年两期共整编62个团，1940年整编50个团。整编中除加强充实原有的各主力旅以外，还组建了许多新旅。
在此期间，新四军进入敌后，主要是发展，在发展的过程中，根据部队的实际情况亦随时进行了必要的整编工作。
八路军1939年至1940年的整军，是贯彻落实中共六届六中全会关于巩固华北战略方针的一项重大措施。通过整军，加强了党的领导和政治思想工作，提高了部队的军政素质，促进了部队的发展，对迎接并战胜后来的极端困难局面，坚持华北抗战，巩固华北敌后抗日根据地，起了重要作用。
第二次是1944年的整训。这一年，世界反法西斯战争已经显露出最后胜利的曙光。不管是在欧洲战场还是在亚洲、太平洋战场，反法西斯阵线一方都取得了战略反攻的重大胜利。在中国战场，从1944年春季开始，各敌后抗日根据地军民对日军发起局部反攻作战。