李存璋字德璜，是代北云中人，16岁时从军做了边兵，由此结识了云中守捉使李克用。李克用当时年仅20岁出头，15岁时跟随父亲李国昌平定庞勋起义，冲锋陷阵，屡立战功，军中众将无人可比，因此被称为“飞虎子”。庞勋失败后，李国昌被朝廷授予振武节度使之职，李克用做了云中牙将。后来，李克用长大，又做了云中守捉使。李存璋与他年龄相当，又都好武尚勇，故而惺惺相惜，一见如故。
云中防御使支谟是文官出身，力不能弯弓，也不会武艺，李克用十分瞧他不起。一天早上，全体将官按例集结官舍，听防御使分派一天的公干。当时支谟因为患了头脑病起来较晚，李克用等不耐烦，径直走到堂上，坐到了支谟的座位上，下面立的众将有一半是李克用的好友，都是些不知深浅、不识礼仪的军人，齐声喝好。支谟正好踱了出来，见状不悦，却不敢发作，只是用眼睛盯着李克用。李克用懒洋洋地起身说道：“大人莫怪，小人一时兴起，开个玩笑，得罪了。”支谟道：“无妨，无妨。”事后，李存璋问李克用坐在防御使大人的宝座有什么感觉，李克用道：“太小，太小！”
支谟受辱，自然气恼，视李克用为眼中之钉，很想将他除掉，不过自己在云中是客，李克用是主，常言说强龙压不住地头蛇，公开与他斗争难保不吃亏，只有暗中下手，才有取胜的把握。于是他派人从中原重金雇用了一名剑客，要他刺死李克用。一天，李克用带着李存璋来妓院玩耍，醉后就留宿在那里。剑客看时机来临，潜入室中就要行凶，忽见帐中烈焰蒸腾，红光四射，晃得他睁不开眼睛。剑客吃了一惊，连忙抽身退走。李存璋睡在外室保护李克用，因为酒喝得较少，故而睡觉较轻，蒙中听到动静，睁眼一看，只见内室火光一片，忙大叫一声“走水”，急奔入内，却见李克用安好无恙地拥妓而眠。
剑客找到支谟，退回定金，急急忙忙就要返回中原。支谟不明就里，百般询问，剑客这才将前因后果说明，支谟听了也目瞪口呆，心想：想不到李克用这个胡虏还有这么奇特的来头，真是人不可貌相！看样子，我在此也不能久留了。他托人在朝中运动，很快调离了云中。支谟走后，官舍里的衙役将这事传出，李克用在云中更加出名，李存璋和一些勇士对他更是倾心相附。
乾符三年（876年），段文楚来到云中做了云州防御使。当年天旱，粮食歉收，军粮入不敷出，时常拖欠。段文楚又从中渔利，克扣军士粮饷，引起了将士们的不满。李克用当时在边防督将，他的部下都向他诉说军粮不足。李克用年纪虽轻，志向却很高，仅做一个边地将领并不能满足他的雄心，因为他平时就很注意收拢人心，联络豪杰，等待时机大干一场。李存璋与康君立、薛志勤等人与李克用交往多年，深知他的心意，也愿意和他一起共谋大事。这时见军心浮动，对段文楚怨声载道，都劝李克用伺机起事，夺取主将之位，以便在云中发展事业。
计议停当，李存璋、王行审二人先行回到云州联络城内的故旧亲朋。李克用随后和康君立、程怀素等人率领数千边兵进入云州。云州的饥民和士卒纷纷响应，一天之内，众达一万。段文楚得知李克用兵反，急忙关闭城门，驱赶将士上城把守。云州的军士已得李存璋二人的策反，都不愿替段文楚卖命，一哄闯入段文楚的住所，将他及其亲信全部抓了起来，打开城门响应李克用。李克用率军入城，进驻府衙，自称防御留后，自行代理段文楚的职务，将段文楚一干人众斩首示众。云州众将联名给朝廷上表状列举段文楚的罪名，请求授李克用为云州节度使。唐朝政府不允许，征调诸道的兵马前往讨伐。
当时，唐末农民起义已经爆发，农民军在黄巢的领导下转战山东、河南一带，对唐朝政权构成了很大的威胁。加之晚唐时期，各地藩镇割据自立，对中央政权的诏命阳奉阴违，唐朝政府根本奈何不了他们。乾符五年，黄巢指挥农民军渡过长江，转战于江南一带，先后攻占了福州、广州等地，势力越发展越壮大，人数多达数十万。为了集中精力对付农民军，唐朝政府只好姑息李克用，委命他担任了大同军节度使，并检校工部尚书。
中和元年（881年）八月，唐朝政府任命李克用为雁门节度使，让他率领蕃汉马步军队入关追剿黄巢。李存璋跟随入关，积功授予国子祭酒一职。两年以后，李克用被授以河东节度使镇守晋阳，李存璋又追随他来到太原，先后担任了万胜、雄威军使。随着势力的日益发展壮大，李克用的军队种类越来越多，其中最著名的就是义儿军。义儿军是由李克用的义子组成，大约有五百人，人数虽不多，但战斗力极强，全由武艺高强的勇士组成。晚唐五代战乱颇仍，各地的军阀都喜欢收干儿子，以此搜罗精兵猛将。李克用的年纪虽然不大，但对收干儿子一事却情有独钟，看到某人勇猛善战，武艺出众，不论年纪大小，一概收为义子。许多人为了表示忠心，情愿降低辈分，甘做义子。随着义子人数的增多，李克用成立了义儿军的名目，派最亲信的人掌管，侍从在自己身边。李存璋与自己交往多年，忠心耿耿，又是同姓，特意命他做了义儿军使。从此李存璋就成为李克用的义子，尽管只比他小4岁。
光化二年（899年），李存璋担任了泽州刺史。天复二年（902年）五月，云州都将王敬晖占据州城谋反，李克用派李嗣昭率军平叛，又命李存璋随后策应。二人合力平定叛乱，生擒王敬晖。李存璋因功转教练使、检校司空。
天五年（907年）五月，李克用积劳成疾，卧床不起。他自知无法救治，将弟弟振武军节度使李克宁、监军张承业及李存璋召入内室，遗嘱立长子李存勖为王，托付三人好好辅佐他。李克用对李存璋说道：“你我相交多年，虽名为义父义子，但我待你一如兄弟手足，希望念在多年交情的份上，好好照看存勖。”李存璋含泪答应。李克用又对李克宁说：“我们兄弟原有四人，活到现在的只剩我们两人。存勖太过年轻，李家的事业以后就要你多多操劳，我今将亚子托付于你，希望你不要负我。”李克宁也点头答应。李克用又嘱咐了张承业几句，闭目而逝。
李存勖哀伤欲绝，号啕痛哭，后事全由李克宁、李存璋等人料理，一直忙了好几天。李克用义子很多，最得宠的有七八个，饮食服饰与存勖并无二致，见存勖即位，有人心怀不满，背后议论纷纷。监军张承业本是唐朝宦官，朱温扈驾入京，与宰相崔胤诛杀宦官，曾令各镇杀死全部监军。李克用与张承业关系一向很好，不想杀他，就处死了一名罪犯哄骗朱温。张承业感戴李克用的大恩，办事格外效力，听到这些闲言闲语，不禁替存勖担忧。他对李存勖说道：“为子之孝应在不坠基业，不是寻常百姓靠哭泣就能解决问题的。如今外有汴寇压境，内部又谣言四起，万一军心摇动，灾祸就会来到。请嗣王节哀顺变，出去主持大局，巩固先王基业，才是为孝之本。”
李存勖闻言猛醒，急召李克宁和李存璋入室，商量对策。李克宁说：“你是亡兄嗣子，又有遗命继承王位，谁敢说半个不字，我一定不会放过他！”李存璋也说：“我答应先王辅佐于你，就一定不会背弃先王的重托，若是哪位兄弟起了不良之意，我决不会对他姑息。”二个拥着李存勖来到大堂，召集军中将士，宣布李克用的遗命，立李存勖为晋王，兼河东节度使。李克宁、李存璋率先拜贺，众义子除了李存颢托疾不至外，其他都来拜贺。众将亦齐来拜贺。
李存颢是对李存勖继位不满的一个。他随李克用多年，南征北战立下了不少功劳。眼见平日李克用对义子与亲子一同对待，关键时刻还是偏爱亲子，不由大感失落。李存勖登位，他故意称疾不来拜见。当天晚上，他来到李存璋的私宅，打算挑拨他与存勖的关系。他说：“我等随父王久经沙场，到头来还不如一个乳臭小儿。父王太也偏心了！”李存璋道：“我们跟随先王并不是为自己称王称霸，而是帮助他成就大事。平日先王对我们很器重，委以大任，与我们同享富贵，我们应该感到很满足了。你怎么能说出这种没有良心的话呢？”李存颢忙说：“我只是发发感慨，并没有其他意思。”李存璋严肃地说：“没有就好。先王并没有亏待我们，我们最好要安分守己，不要做出什么对不起先王的事来。”李存颢见话不投机，连忙唯唯而退。
游说李存璋不成，李存颢很不甘心，又来游说李克宁。他说：“兄终弟及也是古今常事，如今让叔父去拜侄儿，我为叔父感到不值。”李克宁正色答道：“兄终弟及是权宜之计，子承父业才是礼制的根本。你不要说这种影响叔侄关系的话。”语音未毕，忽听屏后有人窃笑道：“叔父可以拜侄儿，将来侄儿要杀叔父，也只好束手受刃了。”李克宁回头一看，原来是自己的妻子孟氏，于是斥道：“妇道人家懂得什么，不要胡说！”孟氏说：“天与不取，必受其殃！存勖刚刚继位，当然对你恭恭敬敬，等他的地位稳固以后，就会想办法铲除你。你想想，你手握兵权，他会对你放心吗？”
李存颢见有人支持他，胆子更大，不等李克宁开口回答，又抢着说道：“婶婶说得很对，历史上侄儿杀叔父的事儿多了。有时做叔父的明明没有做什么错事，那做侄儿的也会想办法除掉叔父的。我只是父王的义子，李家的基业怎么也不会轮到我来掌握。叔父就不同了。你也是李家嫡亲的子弟，李存勖做得晋王，你为什么做不得？”孟氏和李存颢的一席话，使李克宁陷入了沉思。他本来没有想过这类问题，现在既然被他们提出来，不由得不仔细考虑。李存颢见他心有所动，忙进一步地撺掇。孟氏在旁添油加醋，终于说动了李克宁。三人合计一番，决定除掉张承业、李存璋，奉李克宁为节度使，生执存勖与他的生母曹氏归梁。密谋完毕，李克宁和李存颢分头联系亲信将领。
李存颢先来联系李克用的另一个义子李存质。此人与他是同乡，平日私交较好，料想不会有什么问题。不料李存质一听，登时翻脸，责备李存颢道：“大王平日对我们不薄，你怎么能生出这种不忠不孝的念头！若不是念在同乡的份上，我立即就去报告晋王，看你还能不能活命！”李存颢被斥得面红耳赤，急忙报告了李克宁。李克宁说道：“既然他不肯附从，只好将他杀了。”当时李存勖虽然继承王位，但每天沉浸在悲痛之中，内外一切大事都交由叔父处理，李克宁寻了个借口将李存质杀死。
内臣史敬也为李克宁拉拢，请他随时报告李存勖的一举一动，好寻找机会下手。史敬为人机智，对晋王十分忠心，假意与他们来往，暗中却将消息报告了李存勖。李存勖急召李存璋和张承业等亲信商量对策。李存璋说道：“为今之计，只有大义灭亲。不过振武帅是你的亲叔父，究竟如何处置还得你自己拿主意。”张承业大声说道：“臣受先王遗命，言犹在耳。我只知忠于大王，只要有人对大王不利，不管他是亲叔父还是亲兄弟，我都毫不留情。若大王不忍下手，就由我来动手好了。”李存璋受其鼓舞，也豪情勃发，慷慨陈词，誓死效忠存勖。于是三人定计，召众将商讨出兵救援潞州之事，在府衙设下伏兵，待李克宁和李存颢一到，就将他们拿下。
李存勖责备李克宁道：“你与我父是亲兄弟，在父王临终前，你答应父王尽心辅佐于我，如今他尸骨未寒，你就伙同他人要置我母子于死地。今日之事，你有什么话说？”李克宁满面羞红，匍匐于地，无言以对。李存勖又对李存颢说：“我们虽非亲兄弟，可义同一体，你为什么也要来对我不利？”李存颢大声说：“你不用在这儿假仁假义了。我们谋事不成，无话可说。你就赶快杀了我们吧！”李存璋对李存勖说：“大王，不用再与他们罗嗦了。他们犯的是谋逆之罪，十恶不赦，只有将他们斩首示众，才能整束军纪。”李存勖这才取出祖父李国昌的牌位，摆起香案，将李克宁和李存颢及参与谋反的人全部斩首。孟氏也被赐令自尽。一场迫在眉睫的危机，在李存璋的积极协助下，转危为安，化为冰消。
由于得到李存璋的相助，李存勖对这位大自己20多岁的兄长自然感激涕零，很快提升他做了河东马步都虞侯，兼领盐铁转运使，负责河东的行政、财政事务。李克用在位时候，为了鼓励将士出力打仗，军纪放得比较宽，沙陀和其他民族的军士常常侵扰百姓，巧取豪夺，有关部门也约束不了。李存璋多次劝谏，李克用总是不听。李存勖感于此弊，在即位之初，下决心治理军纪，告诉李存璋严厉执法，决不姑息。李存璋雷厉风行地展开行动，除强扶弱，诛杀奸恶，告诫河东全军上下不许侵扰百姓，违者严惩不贷。一个月之内，社会秩序明显好转，士兵不敢再骚扰百姓，百姓也安心耕作，河东境内晏然无事。李存璋一系列的改革措施取得了巨大成就，受到河东吏民的称赞。
天十一年（913年），李存璋担任了汾州刺史，汴军将领尹皓率军进攻慈州，被他打得大败而回。两年以后，汴军大将王檀率重兵逼近太原，李存璋亲率汾州军马增援李存勖，与他并肩作战，打退了王檀的围攻，因功被授为大同防御使、应、蔚、朔等州都知兵马使，镇守云州。这年秋天，契丹进攻蔚州，耶律阿保机遣使求要金银布帛等物，李存璋斥责来使说：“金银布帛乃河东所有，焉能白白送给你们这些蛮夷外族？你们贪图中原财物，就应该通过互市的形式来换取，想通过武力来要挟，休想！”愤然拒绝了契丹的要求，将来使斩首，命其手下带回给阿保机。阿保机大怒，越过蔚州，径直来攻打云州。李存璋率领城中军民登城固守，兵器箭头不够，就销毁城中古代遗留下来的铁车，铸成兵仗，交给士兵使用。敌人败退，因功加授检校太傅、大同军节度使、应蔚等州观察使。
天十九年（921年）四月，李存璋因病卒于云州。李存勖感念他的功绩，为他举行了隆重葬礼。同光初年，李存勖登基做了皇帝，又追赠他为太保、平章事。后晋天福初年，石敬瑭又追封他为太师。