除了振兴包头复字号，把票号做到汇通天下外，乔致庸人生的最后一件大事，就是为后人留下了一座宏伟的院落——乔家大院。
乔致庸在世的时候乔家从没有分过家，而且家庭统一管理，每人每年开支多少都有明确规定。乔家大院最早只有乔贵发建的一个筒楼，后来乔致庸的父亲在旁边修建了一个院子，乔致庸本人是没兴趣兴建家宅的。他信奉当年山西一个商人计然的学说，计然说，货币的流通应该像流水一样，流得越快越广才能给更多的人包括自己带来利益。
乔致庸一生都将利润投入到生意中，没有兴趣置宅买地。但是后来从他手里接手家族生意的孙子乔映霞是个很现代的人，他当时比较反对他爷爷的观点，说你看你忙了一辈子，可是什么都留不下来。
说这话的时候正是中国向国外赔款4.5亿两白银的时候。而当时乔家最大的生意就是朝廷的税务通过大德通、大德恒进行汇兑。第二个生意便是当年英国人把持了中国天津的海关，在直接提走赔款后，其余的税由乔家这样的银号代收。1904年和1905年的账期，乔家一股的红利就有17000两白银，而原始的股份可能只有100两银子。
乔家大小都欢天喜地等着老东家分银子，老东家乔致庸却非常悲愤，他说：我难道不知道你们做的是什么生意？你们做的就是帮助外国人拿走中国人银子的生意。我要那么多银子干什么？我赚的钱越多，就意味着中国有更多的银子被外国人拿走！
国家都要灭亡了，自己生意的前景乔致庸自然心知肚明。那时乔家人口也多了起来，乔致庸终于在人生的晚年开始翻盖老宅。
乔家大院是在乔致庸手上开始成为一个封闭的大院的，具体事务则是交给孙子乔映霞完成。乔家的院子在山西晋商的宅院中并不是最大的，但在山西目前保存的晋商宅院中，是唯一的国家文物保护单位，因为它从来没有拆过，一直保存了原汁原味。
一进门右边的第一个院子，是东北院，乔家当时叫老院，这个院子乾隆时期就有了。后来乔致庸的父亲又修了一个，乔致庸自己修了两个。
乔致庸生活的时代社会动荡不安，捻军起义、义和团运动一个接着一个，他觉得官府也靠不住了，于是把四个院子——这四个院子正好在城里一个十字路口上——所在的路口买下，做成一个封闭式的院子永久使用。此后乔致庸帮助山西商人将英国人手中的阳泉煤矿赎回，用去大笔银两，致使乔家大院有一个角未能建成，成为今天的“花园”。
乔家大院最终能够保留下来，和乔致庸的仁厚有直接关系。义和团起义时，八国联军入侵中国，山西总督毓贤在山西地界捕杀洋人。7个意大利修女从太原逃到祁县时被乔致庸保护下来，藏到自家的银库里，最后用运柴草的大车拉到河北得救。
后来意大利政府给了乔家一面意大利国旗以示表彰，这个国旗竟然在日本侵略到山西时派上了用场。乔家把意大利国旗挂在门口，日本人看到这是盟友的，就没有破坏乔家。相比之下，山西的其他大户大宅不少都被日本人破坏了。
乔家后来觉得这里还是不安全，最后都离开了乔家大院。20世纪40年代初乔家还曾经回来过一阵，但最终还是离开了，这一走就再没有回来。乔家大院在解放后成为祁县政府的办公地，此后做过人民医院和粮食仓库，最后由于是晋中地委党校所在，在乔家老家人的保护下安然渡过“文革”。乔家大院能够完整保存到今天，实在是一件了不起的事情。
1907年，89岁的乔致庸去世。从一介儒生到晋商翘楚，一生历经数场动乱，在家国兴衰中乔致庸用他的精彩人生浓缩了山西商人的传奇。