当历史进入1936年5月，中国共产党纠正了党内存在的严重关门主义倾向，改变了对阎锡山等地方实力派的策略方针，由原来的军事战略进攻转化为政治战略进攻。毛泽东数次致函阎锡山磋商共赴国难、团结抗战之大业，刘少奇主持领导的中共北方局通过各种关系、利用多种渠道争取阎锡山。8月，薄一波在党组织营救出狱后，受阎锡山的邀请到达太原积极做争取阎锡山抗日的工作。10月，薄一波与北方局派到山西的杨献珍、董天知、韩钧、周仲英组成中共山西公开工委，在太原专做公开、合法的工作。10月22日，毛泽东致信刘少奇指出，“北方统一战线非常要紧”，“晋绥应放在第一位”。北方局通过华北联络局系统，委托朱蕴山到太原同阎锡山会谈，并达成取消山西以反共为宗旨的组织、取消对陕北革命根据地的封锁、组织抗日民众团体、发动民众开展抗日运动等共同意见。
薄一波到太原后，着手接办牺盟会，成立了新的牺盟会领导机构，新领导成员7名常委中有6人为中共秘密党员。改组后的牺盟会戴“山西帽子”，说“山西话”，实行共产党的抗日路线和主张，成为共产党实际领导的、与阎锡山合作的抗日救亡组织。为不断开辟新的工作阵地，1937年4月成立了牺盟会太原市委员会，此后又建立了区一级分会和兵工厂工作委员会、铁路工作委员会、学生工作委员会等。牺盟会总部在太原期间，开办国民军官教导团、军政训练班和民训干部团，并派出村政协助员和牺盟特派员深入县乡开展工作。以太原为中心，辐射四面八方，使抗日救国的革命洪流席卷整个三晋大地。
“七·七事变”后，刘少奇率中共北方局抵达太原，8月彭雪枫任主任的八路军太原办事处公开办公，9月5日中共中央代表周恩来和八路军领导人彭德怀、林彪、聂荣臻、徐向前、萧克等来到太原。9月20日，第二战区民族革命战争战地总动员委员会（简称战动总会）在太原正式成立，续范亭任主任委员，委员由阎方和八路军及各派代表组成，邓小平、彭雪枫、程子华、南汉宸为中共代表。在太原的40天时间里，战动总会举办了3期游击干部训练班，组织了慰劳队、救护队、劝募队慰劳抗日部队、救护伤病员和运输战时物资，指定特派员建立县、区、村各级“动委会”。太原失守后，战动总会组建农救会、妇救会、青救会等群众组织和游击队，并在晋西北旧政权改造中发挥了重要作用。11月初，战动总会向第四行政区政治主任武灵初推荐，由武灵初在清徐、太原、交城等5个县委任了共产党员担任抗日县长。
面对日军的进攻，晋绥军和前来增援的中央军一触即溃，使阎锡山对旧军大失所望。在这种背景下，经请示北方局后，薄一波向阎锡山提出组建一支新军的建议，并很快得到同意。1937年8月1日，由国民兵军官教导团、军政训练班、民训干部团中的300名骨干学员组建的“山西青年抗敌决死队”，即新军在太原宣告成立。随后的一个月时间里，决死队很快发展为4个总队（团）。决死队建立并实行拥有实际领导权力的政治委员制度，引进工农红军所实行的《三大纪律八项注意》（仅把“注意”二字改为“守则”），并设立有秘密党组织。这就使得新军虽然名义上属于第二战区编制，实际上是中国共产党领导的一支抗日武装。新军由牺盟会武装和战动总会武装两部分组成。除决死队外，9月底由太原、榆次工人为主体组成的工人武装自卫队、10月由成成中学师生组成的师生抗日义勇队等抗日游击队，均属山西新军。新军成立不久，就投身到抗击日军侵略的战斗中，并配合八路军和其他友军，在三晋大地粉碎了日伪军一次次的“围剿”、“扫荡”，许多指战员用自己的血肉之躯实践了“决死抗战、牺牲救国”的誓言。