晋商的高层管理决策中心，深藏内地，眼界狭窄，夜郎自大，主观武断，常出现决策上的错误。明清时期，晋商的成功在于他们走向全国，但晋商的指挥中心却从来都是设在山西老家。而且，由于晋商较早地实行了所有权和经营权的分离，晋商的东家们大都退出经营领域，在老家的深宅四四方方的宅院局限了晋商随世变化的眼光大院里过起奢侈豪华的生活。他们多数不知道外面的世界，在重大决策上自然很难作出符合实际的应对。至于他们聘用的最高层管理者——总号掌柜，确有一些是从省外分庄选拔出来的，还晓得外界的一点情况，可一旦任职，就须回老号去，对千里之外的市场变化根本无法准确判断；总号掌柜都是有资历和影响力的人，一言九鼎，即使对外界商情判断不准，也必须执行。因此，在用人决策、经营决策上必然会出现不少失误。像毛鸿翙否决李宏龄等改组银行的建议，就铸成了票商历史上的大错。
清末民初，山西票号迅速走向衰落，因此，从各大票号的衰败中能看到山西商人逐渐从历史舞台退出的过程，商号倒闭时深受其害的是各财东。票号放款全凭对顾客的信任，即信誉抵押，山西票号有“万两银子一句话”之说，票号存款集中在上海、祁县和太原，放款集中在汉口、奉天、祁县、西安、营口，占放款总额的73%。在近代兵荒马乱的年代，一般商人的财产安全无法得到保障，破产倒闭的大有人在。对这样破产的贷晋中各县图款户，山西票商无计可施，贷款多的城市除祁县外都遇到辛壬变乱和倒账损失，这样欠贷多的城市贷款收不回来，存款多的城市也就无法兑现，倒闭也就成为必然。辛亥革命的以后十年，各分号所存本银本来就有限，贷款连本也无法收回，就无法应付兑现存款，票号多因倒账而大部分倒闭。事实上票号虽然倒闭，但是直至最后，它外欠别人的存款无法兑现，别人欠它的贷款无法收回，成了一堆烂账不了了之。可存款户却不肯放过这些倒霉的票商，票号是实行无限股份制的，经理只有经营管理票号的责任，票号的债务偿还全由财东负责。当票号分庄及总号无法应付取款的顾客时，这些顾客就会找到这些财东家里讨债，财东门只好倾家荡产偿还债务。如果股东家底不够偿还债务时，那么只有蹲班房或流落街头两条出路了。更为严重的是，因为票号资本是负无限责任的，票号倒了，东家经营的其他商业也一同垮台了，它的东家也随之破产。
山西票号的全面衰落是在辛亥革命前后，在这之前一些票号已经早早地走上了败落。介休北辛武冀家是乾盛亨票号的东家，他们家在1900年以后便破产了，当冀以和为冀家掌门人时，乾盛亨由布店改为票号，在经理武日中等人的帮助下确实发达了一段时间。冀以和又和清廷各级官僚多有往来，这种亲密的关系既给票号带来了财富，也带来了厄运。1880年一桩侵吞官款的案件几乎使其倒闭，事情的起因是：太常寺卿周瑞清与云南省粮道崔尊彝、永昌府知县潘英章等勾结，擅自将云南省大批官款由云南汇到北京另立名目存入乾盛亨票号，预备公款私用。这件事后来被人察觉，由御史弹劾，被称为云南报销案。政府派出官员调查内情后，乾盛亨北京分号经理阎时灿被拘押审问，最后牵涉到的很多朝廷大官被揭露，分别受到严惩。事情过后乾盛亨也名声扫地，大笔官款被收回，许多存款户闻讯前来提款，北京分号无力兑现。这些存款户就到平遥乾盛亨总号，总号为周转起见，拿出所存银两全部支付给这些顾客。当时冀以和派人到自己家中去拉白银，用五辆大车整整拉了一天银元宝，轰动了远近的百姓。人们奔走相告：冀家的银元宝用马车都拉不完，许多存款户放心了，也不急于提兑现银。乾盛亨票号虽然逃过了一劫，冀家用其他商号的收入弥补票号的亏空，只是至此冀家的元气大伤，无法恢复到往日鼎盛时期。
庚子事变中京津一带商号被焚掠一空，冀家在这一带开设商号最多，因而损失非常惨重，其中天津冀家四大当铺广盛当、文盛当、益盛当、兴盛当被烧，损失有数十万。其他店铺的掌柜伙计或死于非命或逃回乡里，商号只好听之任之，乾盛亨票号北京分庄同样遭劫。存储户纷纷到乾盛源票号提兑存款，此时的冀家已今非昔比，面对蜂拥而来的存款户再也无法作出大马车拉元宝的壮举。当时冀家的掌门人冀维清只知道吃喝玩乐，根本无法在这危急关头找到对策。只好求助于有地位的同乡贾汝让，全权委托他变卖家产偿还债务。贾汝让曾在祁县三晋源票号当过经理，与清朝官员岑春煊交情深厚，在本地很有声望。他与冀家为故交，临危受命，与储户定下“止利还本，三年还清”的偿还原则。贾汝让得到当时山西巡抚岑春煊的支持，较为顺利地开始了清债工作。冀家老小把多年积累的家产拿出拍卖甚至连皮衣等都卖了，到1904年冀家所欠债务基本还清，而冀家宅院已徒存四壁。据估计所清偿的债务高达100多万两白银。
晋商破败的商宅与当年的辉煌形成巨大的反差票号的开山鼻祖日昌倒闭并不是因为倒账，而是因为其他原因：1913年，著名的大票号合盛元倒闭，当时其北京分号经理因难以应付追债人的追逼，私逃出京。日昌北京分庄经理侯垣是合盛元的具保人之一，1914年10月，众债权人告到北京地方当局，当地官员监察厅传讯侯垣等要人，并声称如找不到被保人，就要将担保人关押抵偿，吓得侯垣连夜出逃，携带账簿与伙计等逃回山西，连平遥老号都不敢回。当总经理的郭斗南害怕承担责任，也私自潜逃，引发了日昌的信誉危机，结果引起其他分号的相继关闭。众多讨债人将财东状告到地方官府，平遥县知事奉命查封李家宅院。当时李家主持人李玉峰，情急之下，把已辞退出号的原副总经理梁怀文请出处理偿债工作。梁与地方官府合作，开始对日昌票号进行破产处理。然而从李家宅院并没有清理出很多的财物。原来李已将珍贵财产转移到其他地方，因此，梁怀文在进行破产还债时十分为难。他就同众债权人商议，以各债权人的债务作股本，开铺营业，以求收回原来放出的贷款，偿还债务，这就是后来的日昌钱号。李玉峰由女儿赡养余生，李家的一些房屋也典当一空。
蔚字五连号的东家介休北贾村侯家的最后破落并不是因为债务关系，而是因为家族人奢侈败掉了家产。侯家资本雄厚，即使在辛亥革命后屡经重创，但还能勉强维持，当时侯家的主持人是侯从杰的妻子王氏。王氏虽然想重新振作家业，无奈票号人心涣散，许多从前的伙计早已就业其他商号或银行，剩余的才能平庸，年纪较大的只想拖日子。侯家的子孙们在这种生意惨淡的情况下，仍然维持着奢华的高消费。蔚字号全部倒闭后，侯家的后代也没有什么危机感，此时的侯家上下恐怕没有一个不抽鸦片的。为抽大烟和摆排场，侯家就开始变卖家产，从金银、玉器到各处房产，家产大部分就这样变卖一空。侯从杰的儿子侯崇基是个无所作为的烟鬼，为抽大烟便卖光家产，最后衣食无着，竟冻死街头。
侯氏故里残垣辛亥革命爆发后，协同庆各地分号经理、伙计见大势已去，一个个乘机卷款而逃，剩下的少量财产也被乱兵抢掠一空。一批批债主从各地涌到平遥总号，坐索存款。财东当家的人称为“米七少”，被债主告到平遥县衙门。米家先听到风声，就携带母亲逃到介休北辛武村冀家躲藏起来，冀家当家的冀师曾与米七少是表兄弟，米家寄人篱下，恶习不改，仍挥霍无度，吸食鸦片。只靠变卖财产维持，不久将祖上遗产变卖一空，就连豪华一时的楼阁庭院也拆卖成一片废墟。米七少与他的母亲最后都是在穷困中死去。协同庆的另一股东王家从票号抽出资本后改为投资盐业、烟铺、杂货等，但他的后人不争气，都染上抽大烟的嗜好，只有变卖家产为生，王家最后一代当家人王奇，最后竟沦为乞丐，饿死街头。李宏龄对这一票号的盛衰总结为：“其成败得失皆系乎人，人存则举，人亡则废。”
票商鼻祖雷履泰的后人境况也十分可悲。他为日昌的发达立下了汗马功劳，李财东家也对他不薄，每次分红所得不下几千两白银，雷家也因此成为当地的富户。雷履泰的故居兴建于清嘉道年间，坐北朝南，占地3800平方米，由两主院两跨院组成。是一处古朴典雅的院落，西院为主体建筑，风格典雅，气势恢弘。整座院落布局合理，主次分明，而且毫无豪华奢侈之处，体现了主人朴实无华的创业者风范和务实精神。只是他的后代才能平平，无法继承祖宗的事业，最可怕的是一个个又沾染上了烟瘾，家道逐渐败落，雷履泰的后世子孙因为生活拮据，穷困潦倒，最终变卖家产和院落聊以度日，这个院落几易主人。到他玄孙雷东阳时竟把家产变卖一空，甚至连祖坟上的石碑也卖与他人，于1921年流落街头，活活饿死。