1921年4月，高君宇回到太原，召集王振翼、贺昌、李毓棠、武灵初等座谈，并于5月1日正式成立了太原也是山西的第一个社会主义青年团。1923年8月高君宇介绍李毓棠加入中国共产党，冬介绍傅懋恭（彭真）由团转党。1924年5月，担任中共北京区委执行委员的高君宇又回到太原，介绍侯士敏、张叔平、潘恩溥由团转党，成立了太原也是山西的第一个党组织，不久随着党员队伍的壮大建立了中共太原支部，张叔平、李毓棠、傅懋恭先后任支部书记。讲中国革命的历史不能不讲山西，讲山西党的历史首先要讲太原。太原党团组织的成立，使太原人民的革命斗争找到了正确的坐标，更为重要的是由此点燃了三晋革命的星星之火，揭开了山西历史的新篇章。
在传播马克思主义、组织开展工人运动和学生运动的同时，太原团地委先后多次派出团员到各地建立和发展团的组织。1923年夏派侯士敏到汾河中学组建了汾阳团支部，1924年冬指派韦思恭回霍县建立了霍县团支部，1925年春指示张振山在临汾成立了平阳团支部。1925年11月中共太原支部改称中共太原特别支部，12月中共太原地方执行委员会成立，上属中共北方区委领导。此后，中共太原地委数次部署在全省建党，1926年1月太原地委号召共产党员到工厂、农村去，回原籍就地开展建党工作，崔锄人、王鸿钧、周玉麟、刘守维、邓国栋、王世隆等分别领导建立起赵城、临汾、曲沃、平定、祁县、芮城等县党支部和运城省立第二中学、榆次晋华纱厂党支部；6月，太原地委要求学生党员在暑假期间回乡就地发展党员和建立党组织，崔锄人、王鸿钧、王瀛、梁其昌、纪秀川、韦思恭、薄书存（薄一波）等分别领导建立起夏县、霍县、定襄、运城省立二师、崞县中学、长治省立第四中学、太谷铭贤中学、晋城获泽中学等党支部；1927年2月，太原地委先后派出王鸿钧、崔锄人、薄书存、赵秉彝、梁露、李舜琴、段灿、袁致和等到运城、定襄、阳泉、介休、高平、平遥等地发展党的组织，并对已有党的组织进行整顿。经过中共太原地委三次建党，全省党支部达到58个、共产党员发展到696人（其中太原420人），由太原地委联系并指导的中共榆次地方执行委员会、中共临汾地方执行委员会、中共汾阳地方执行委员会、中共晋城地方执行委员会等相继成立。建立统一的山西省党组织的条件趋于成熟，1927年5月中共中央决定成立中共山西省委，中共太原地委书记颜昌杰、宣传部长崔锄人、组织部长王鸿钧分别调任中共山西省委书记、组织部长、宣传部长。
1927年7月大革命失败后，阎锡山在山西进行清党，大批共产党员惨遭杀害或被捕，中共山西省委遭到严重破坏。1929年3月25日，中共中央政治局常委兼组织部部长周恩来起草了《中央给顺直省委并汪铭同志的信》，决定“目前山西可不成立省委，先着手于地方工作的恢复和建立”。根据中央指示，汪铭回到山西后首先建立了中共太原市委，管理太原市和山西中部各县的党。8月后，太原市委先后改为太原临时市委、太原特委，实际负责山西党的工作。1930年至1936年，中共山西省委（省特委、省工委、临时省委）多次组建又多次遭破坏，期间中共太原临时工委曾主持全省党的工作。