居乱世 苦挣扎 风流云散
济时艰 开利源 走向新岸
开口岸 洋商至 晋商转衰
《红楼梦》中有一段判词用来描述山西富商的衰败也较为恰当：
家富人宁，终有个家亡人散各奔腾。
……
叹人世，终难定！
为官的，家业凋零；
富贵的，金银散尽。
晋商从事的行业很多，他们兴起于盐粮生意，在清末盐商、粮食商、茶商从事的行业早已衰落时，又有票号生意一枝独秀。将晋商推到发展的新高点，不过最终应了句老话：“月满则亏，水满则溢。”当他们迅速衰败时，也如俗语所说的“登高必跌重，乐极悲生，否极泰来，荣辱自古周而复始”。
清末民初，晋商衰落与内外因有关。鸦片战争后，在国家主权丧失，中国愈来愈深地陷入半殖民地半封建社会的情况下，晋商在与外商的商贸活动中，已无平等竞争可言。而且清政府为避免因商衅而引起的争端，又往往对晋商采取压制。晋商在这内外双重压迫下，只好忍气吞声，这从它与俄商在茶叶贸易上的前后变化上可以清楚地看到。比如晋商垄断的恰克图贸易，就由于沙皇俄国的侵略受到严重的消极影响，使山西商人蒙受损失，致使恰克图贸易一落千丈。沙俄胁迫清政府先后签订了不平等的《天津条约》《北京条约》，使沙皇俄国获得了自由贸易特权和免税特权，俄商得以深入到库伦、张家口一线城市开办洋行，进行贸易往来，到1890年俄商对蒙古地区的贸易额已达300万卢布，比签订《北京条约》前夕的21万卢布增加近15倍。同治元年（1862），沙俄胁迫清政府签订的《中俄陆路通商章程》，把我国蒙古、新疆的万里边疆变为俄商独占的无税贸易区，而山西商人等华商恰恰相反，要逢关纳税，遇卡抽厘，自然难以与俄商抗争。1869年，沙俄又胁迫清政府签订了《改订陆路通商章程》，俄商又得以深入内地。茶叶是陆路贸易的主要商品，俄商在汉口设有6家砖茶制造厂，并在九江、福州设有分厂，每年运往俄国和蒙古地区的茶叶近900万镑。晋商从货源到销售路线均处于劣势，当晋商以其人之道还治其人之身，深入俄国进行茶叶贸易时，面对着沙俄商人欠债不还，希望清政清代晋商参与的俄国市场府出面干预时，被清政府无情地拒绝，晋商在沙俄的贸易中损失惨重。由于外国银行的设立，山西票号的业务多被其所抢夺。
近代英国在华设立的汇丰银行外国银行在华发行的纸币1外国银行发行的纸币2自鸦片战争以来，中国处于内忧外患之中，战乱不断。在这一系列战乱中，山西商人接连遭受损失，1850年，汉口后塘角大火，山西商人受损最为严重。有诗为证：
赀财千万作灰扬，富客豪商气不狂。
九九归元谁受累，大东道主是西商。
晋商受到最早的创伤是在太平天国革命时期，太平天国起义迅速席卷了大半个中国，清军与太平军在汉口近代俄国在华设立的银行等地反复争夺，聚集在这里的山西商号也就多次遭受浩劫，损失不可计数。江南地区晋商遭受的巨大损失是因战争双方的劫掠造成的。在太平天国革命中，山西商人在南方的商号大多被抢掠一空，许多家族收缩了在南省各地的经营规模，步入衰败。以后甲午战争、庚子之乱、日俄之战，晋商损失惨重。有的商号损失多达数千万，元气大伤。在庚子之乱和辛亥革命后，晋商的财富化为乌有，各家大户纷纷衰落。
两次鸦片战争、中日甲午战争、庚子年八国联军侵华战争以及1905年日俄战争都给晋商带来一次又一次的灾难。第二次鸦片战争中，晋商在京津两地的店铺悉遭破坏。庚子之变，京城200多家当铺又尽遭抢劫，这其中山西商人的当铺占了90%以上。甲午、日俄战争则使晋商在东北和华北的字号遭受了巨大损失，总额在数千万两上下。介休北辛武村冀氏在道光时号称家资300万两，京、津东北遍布冀氏的商号，仅湖北襄樊一带就有冀氏店铺70余家。如此阔绰的大户，在经历一系列的动荡后很快变成了一个债台高筑的破落户，后来靠一知恩图报的小伙计帮忙，求到山西巡抚清代战乱图岑春煊的门下，才保留了冀氏在介休北辛武村的老宅，使冀氏子孙有一个安身之所，至于曾经兴旺发达的商铺和富甲天下的资财却一无所有了。冀氏的经历其实就是山西商号的一个缩影，祁县、太谷、平遥、灵石等地的山西商人几乎无一例外地都经历过这一令人叫苦不迭的时期。
晋商从清末开始走向衰败，而清政府对商人的肆意侵榨，是晋商走向衰落的一个重要因素。清末除商税、关税外，咸丰年间开始征收厘金，商人备受其苦。山西从光绪元年（1875）开始到十九年（1893），大量增设厘卡，每年厘金收入由9万两上升到22万两，药捐、票捐、盐价加斤等各类捐输每年增加银20万两，到清末全省已有厘卡35处，凡药、盐、皮、贸、烟酒、煤、粮都是厘金征收项目，到光绪三十四年（1908）厘金收入近代东北火车站高达31万两。再有是滥征、重征商税。1875年，山西普源公商号由广东采办药材、药酒，运销直隶，途经天津，被钞关重征，以至商人赔累，被迫改道，由山东运销青岛。
近代交通发展后，贸易路线改变也对晋商的经营有不小的影响。1845年以后，外国的一些轮船公司在中国先后开辟了若干航线，沙俄对华贸易也由陆路改为走天津、大连、海参崴的海上运输，这就改变了中国旧有的商品运输路线。山西作为对俄、欧贸易要冲的商路逐步改变，晋商历来占有的地理优势也逐渐丧失。中东铁路、京绥铁路等线路的开通，对晋商旧有的经营商路又是一次打击。早在清光绪十六年（1890），李鸿章在彼得堡与俄政府达成秘密协议，允许俄国建西伯利亚到海参崴的铁路即中东铁路。光绪二十九年（1903）七月，铁路通车。俄商利用海上运输和中东铁路运输商品，而晋商是用骆驼、马车走蒙古大漠运送商品的，二者一相比较，优劣自然分明。
明初，晋商是凭借政府为北方边镇筹集军饷实行开中制而崛起的，明政府通过这一办法的实施，既解决了北方边镇军饷，又收到了盐税，而晋商也因此而兴起。明代扬州盐商中，晋商占主体是因为他们和政府建立了密切的关系。
入清后，晋商在政治方面的优势依然没有动摇，能达到与政府如胶似漆的程度。以山西票商为例，他们先从经济上帮助穷儒寒士入京应考和走马上任。儒士一旦考中，票号便利用其关系代为活动放任外官。这些靠票号从经济上帮助走上官场的儒生，以后就成为与票号有特殊关系的官员，开拓期票号业务很多时候就靠这些人际关系网。对于在任的王公大臣，山西票号更是设法与他们交往，以图他们能在生意上多加照顾，将公款私款的汇兑、存储业务包揽过来。山西票号利用交结封建官吏扩大业务，以此谋取利润。
清代，晋商曾经推动了晋剧的繁荣，一方面是为了聊解思乡之情，另一方面也是他们交接大官、拉拢生意的极好方式。晋商宴请尊贵客人一般到相公下处招待，相公下处就是旦角演员的住所。晋商经常在此结交王公贵戚，这里酒席讲究，招待殷勤，屋内布置精致雅静，他们绝对不到妓馆等下流交际场，因为这些地方高位者不敢涉足，晋商使尽其交结封建官吏的本领与官吏建立了互相利用的关系。
积陋习 守旧摊 业亡人散
近代西方国家商品涌入中国后，因为产品是机器制造，物美价廉，在同中国传统的手工业商品竞争中自然占据优势。如在恰克图后期贸易中，俄商已经能用机器压制砖茶了，晋商却仍然是手工制造，不思向人家学习和引进新技术或购买新设备，结果在竞争中败下阵来。又如晋商对电汇和现代交通工具的重视和运用也很不够，有些票号甚至在使用了一段电汇后，又“谨慎”地停下来。至于对现代科技知识的学习和了解，多数商人缺乏自觉和主动，他们把自己知识领域局限在一买一卖、一收一付的狭窄范围之中。