晋商的出现有其历史渊源。据《易·系辞》记载，早在先秦时代，晋南一带就有了较为突出的商业活动：“日中为市，致天下之民，聚天下之货，交易而通，各得其所。”可见这种“日中为市”的商业活动，规模之大，范围之广，对社会生活影响之深。在《国语·晋语》中记载，晋国最为强盛，初定霸业之时，晋文公便对内“工商食官”，对外“轻关易道通商”。后来“晋）悼公用魏绛和戎之谋，以货易土”，开启经济体制创新的先河，促进了民族交融。
据考古发现，山西灵石县曾发现罗马第三代皇帝梯拜流时期的铜币，证明在汉代山西已与罗马帝国互相闻问，互通有无。此外，在太原、大同、运城以及晋中等地均发现了公元四世纪、公元六世纪的拜占庭金币、波斯银币。这些都是西域商人来山西经商的有力佐证。元统一全国后，建立了横跨欧亚的大帝国，开启了“蒙古时代”。在宋代，河东盐的开采量大为增加，已实行“盐引制”，盐商在宋代已经活跃起来。而在潞、泽一带，出现了家庭手工专业户，生产了大批的丝绸等手工艺品以供出口，特别是“潞绸”名满天下。有一种观点认为，晋商的兴盛从宋代即已开始。即使这样的话，晋商在商业贸易舞台上已经活跃了一千余年的时间。这说明，尽管中国是一个在文化上重农轻商的国家，但在山西，这种观念并不是根深蒂固的。总之，在明之前，山西一带从事商业贸易活动已成为社会生产活动中十分普遍的现象。
后人结集出版的清人刘大鹏的《退想斋日记》中有这样的一段话：“近来吾乡风气大坏，视读书甚轻，重商业为甚重，才华秀美子弟，率皆出门为商，而读书者寥寥无几。”读书人痛心疾首的感慨在街巷中被人用一种轻快的语句表达出来：“有儿开商店，强过做知县，买卖兴隆把钱赚，给个县官也不换。”不论是老举人的痛心，还是民谚的幽默，都反映着这样一个事实——在山西人看来，经商是一种比读书做官都重要的事情。历朝历代的山西商人在从事商业贸易的活动中，积累了丰富的商业经验，逐步形成了从商获利及如何更好地在商业活动中获取更大利益的观念。他们的商业活动也为下一步的迅速崛起积累了资本，在历史机遇突然降临的时刻，能够作出敏捷的反应，使自身不断壮大。
而在生产要素创造方面，山西也有辉煌悠久的历史。春秋、战国时代，山西就能制造铁农具。在太原，就曾出土了汉代的铁压轴、铁镜和钱戟。北齐时，曾在晋阳为监官的綦毋怀文发明了“锤炼法”和“淬炼法”。这是中国冶铁史上由铁炼钢的首次记载。唐代太原的冶铁出现了许多精品，如杜甫和卢纶曾作诗赞美并州剪刀。杜甫诗云：“焉得并州快剪刀，剪取吴淞半江水。”到了宋代，冶铁技术又有进步。如晋祠莲花台上的四个铁人，可见当时的翻砂、浇铸、冶炼、焊接技术已达到相当水平。太原也是煤炭的主要产地之一，使用煤炭的历史也很悠久。如公元前497年在董安于修筑晋阳城宫殿所用铜柱，此铜柱的冶炼，如果不用煤炭作燃料是不可能的。此外，太原的游牧经济也占很大的比重。西汉时曾在晋阳设家马官，有家马厩。唐王朝在晋阳西北设楼烦、元池、天池三监牧马。
太原北依长城，与内蒙古游牧民族居住地区接壤，南则与中原广大农业地区连成一体，为畜牧业区和农业、手工业区的中间地带，其特殊地理环境为经济贸易奠定了良好的基础，自古以来，中原汉民族生产和生活使用的耕牛、皮毛，特别是战争中使用的军马，主要取之于蒙古草原。而蒙古族人民的衣、食、日用品，则主要依赖于内地汉民族的农业和手工业。太原自然成了这种南北物资交流的要冲。
虽然在长期的封建社会中，北方游牧民族的贵族政权和中原汉民族的地主政权时分时合，民族矛盾有时剧烈，有时缓和，对南北物资交流干扰很大，但无论在和平状态还是战争状态，双方的物资交流不论是公开合法地进行，还是隐蔽非法地进行，始终未能停止。久而久之，形成了早期晋商群体，担任这种南北物资交换的中介人。
战国时期，虽然烽火弥漫，战事频繁，但晋人以“晋阳为基地，积极开展与戎狄部落的贸易”。1963年在山西阳高县就发现了战国时期的货币——晋阳布，可作为当时汉族和少数民族贸易的佐证。汉武帝时，又一个山西商人的身影出现在雁门关外长城脚下，他的名字叫聂壹，除了商人的身份外，聂壹还是个皇家间谍，受汉武帝亲自指派，以经商的名义为随之而来的大规模征伐进行军事侦察。“汉使马邑人聂翁壹，间阑出物，与匈奴交易”，历史竟然以这样独特的方式掀开了波澜壮阔的一幕。
南北朝时，北方齐、周战争频频发生，虽然如此，晋阳的贸易并未间歇。北齐娄睿墓墓道壁画上有高鼻短鬍，浓眉深目，头戴高筒毡帽的西域胡人手牵负重的骆驼在跋涉贩运货物。显然当时已有外商胡人来晋阳贸易。另外，《北史·齐本纪》还载：“一裙直万金，镜台直千金，竞为变巧，朝衣夕弊。”这一方面说明当时北齐宫廷中的奢靡，另一方面也说明中原手工业品贸易已进入北朝的皇宫中。
唐代时，太原为北都，其商业贸易非常活跃。据《通典》载：唐代“北至太原，范阳，西至蜀川凉府，皆有店肆，以供商旅”。1958年在太原金胜村唐墓出土的文物中，有一枚波斯萨珊朝二世银币。波斯即今伊朗，波斯萨珊朝二世正处于我国隋唐之际。这无疑是唐代晋阳与西域商人之间贸易的物证。韩愈曾形容当时太原商业的繁华“朗朗闹街鼓，晨起似朝时”。当时，太原还曾是国家铸币的基地之一，隋开皇十六年（596）“在晋阳设五炉铸钱，每岁可铸三千三百贯”。五代时期，太原的商业街区已纵横交错，异常繁盛，“邑屋市肆交易”极为灼炽。北宋时期，虽然太原城经历了一个从隳毁到重建的过程，但未久即复，商贸的繁盛一如既往。特别是边贸使得太原成为当时重要的交易市场，一些官员也加入其中。《宋史·夏竦传》载：“竦）……在并州使其仆贸易，为所侵盗，至杖杀之，积家财累钜万。”至于元代，太原更是镇店林立，商贾云集，经济发达，百业兴旺。
明代，随着开中制的实行，晋人靠着得天独厚的地理优势，逐渐形成庞大的商帮，而后雄踞国内商界之首。可以说，太原正是晋商兴起的核心地带，为晋商的崛起提供了支撑。清前期是晋商得到空前发展的第二个重要时期。清王朝入主中原后，加大了对四边农牧业的开发力度，中俄贸易十分活跃，对俄的茶叶贸易取代丝绸、棉布，上升为主导地位。晋蒙紧邻，自由地利。到同治八年（1869年），晋商先后在莫斯科、多木斯克、赤塔等地设立商号开始茶叶贸易：南起福建，沿长江至汉口逆汉江抵樊城（今湖北襄樊），再由河南社旗至山西晋城、长治、太原，由太原至河北石家庄，北达内蒙多伦或归化，再北至库伦、恰克图。
恰克图设立贸易市场，成为晋商经营范围向国际市场拓展的重要分水岭和晋商进军国际市场的桥头堡。世代生长于斯的太原府商人们，依靠这条经济长廊迅速积累起巨大的财富，太原也因此成为茶马古道这条商路的中转站。这也就奠定了太原作为“晋商之都”的历史状貌与先天条件。