时间过得飞快，李商隐在获嘉不知不觉已过了两岁。
就在前一年，他的弟弟羲叟出生。李嗣一连得了两个儿子，胤绪问题完全解决，原本压抑纠结的心情放松了不少。
可是二女儿，就是商隐、羲叟的仲姊、已经出嫁却被遣回母家的裴氏夫人，情况却越来越糟。原先还只是郁郁寡欢，沉默少食，如今竟是整天卧床不起了。母亲心疼女儿，女儿还很年轻，这辈子她将怎么度过啊！
在那个时代，对于女儿的如此处境，一个做母亲的除了每天在床头细语安慰，又有什么办法呢。眼看着女儿日渐消瘦、奄奄待毙的样子，李嗣和夫人一筹莫展，只有相对流泪。果然，没有挨得多久，这位不幸的女子就魂归西天了。
三十多年后，李商隐为仲姊迁坟，请亲戚卢尚书为其撰写《墓志》，在《状》文中向卢尚书这样描写仲姊：
仲姊生禀至性，幼挺柔范，潜心经史，尽妙织纴。锺、曹礼法，刘、谢文采。顾此兼美，自乎生知。而上天赋寿，不及二纪。
毫无疑问，在李商隐心目中，仲姊是十分美好的。她不但性格柔顺，恪守闺范，而且精通女红，喜爱文史，书法和文采均很可观。姊姊生前，商隐还很小，这些当然都是母亲告诉他的。就是这样一个好女子，命运对她竟是那样残酷，十八岁出嫁，不容于夫家，不让庙见，等于被逐回母族，这对封建时代的女子是何等的羞辱，何等沉重的打击！而上天给她的寿命又是如此之短，她总共活了不到二纪（二十四年），就病死在娘家。
李商隐在为这位仲姊迁葬时写过一篇感情深挚的《祭文》，回顾她短暂的一生，并叙述了家庭的种种变故和经历的灾厄。其中写道，在她病故的时候，商隐和羲叟兄弟都还幼小，“此际兄弟，尚皆乳抱，空惊啼于不见，未识会于沉冤”。不过商隐此时已两岁多，多少已经有了些印象：“灵沉绵之际，殂背之时，某初解扶床，犹能记面。”商隐记得自己已能扶着床沿勉强站立，他看到过姊姊卧病喘息的情景，看到过她形容憔悴的模样。这些印象虽然不甚清晰，却深深地烙刻在他的脑际，成为他终生难忘的童年记忆。
两三岁的孩子对死是不会有什么概念的，但姊姊去世时家中的忙乱情景和悲哀气氛却会在他敏感的心灵留下某种印记。
是啊，姊姊今天为什么躺在床上一动不动？爸爸妈妈为什么哭得那样伤心？仆人们跑来跑去在忙些什么？那帮吹吹打打哼哼叽叽的是些什么人？跟在他们后面那又长又大的黑木盒子沉得要好几个人抬，那里边装的是什么？是我亲爱的姊姊吗？他们要把她送到哪里去？为什么保姆把我抱得那么紧，又离得远远的，不让我看个究竟？……
裴氏仲姊之死，使商隐平生第一次在近处见识了死亡，闻到了死亡的气息，感受到死亡带来的哀伤氛围，这给他稚嫩柔弱的心灵涂抹上第一笔感伤的色彩。后来，感伤成为李商隐性格和诗歌的基本色调，其源头也许就应该追溯到这里。
李嗣本想把女儿送回郑州荥阳，把她葬在家墓之中。但是，种种条件限制使他没能这样做，而是只能将她先简单安葬在获嘉，等待以后有条件时再把她迁回荥阳墓地。
就在前不久，浙东观察使孟简来信邀他去担任幕僚，恰好获嘉令的任期也快满了，李嗣在留任从调还是弃职远游二者之中作了一番选择。
按唐朝制度，县令每任三年，每年考核，三考之后，由吏部决定升降。李嗣获嘉令任满，照常理本来应该等待考绩的结果出来，然后决定行止。但他似乎没有这样做。李商隐的文章中，没有提及这方面的事，我们也就不知道李嗣究竟是在何种情况下离任而去的。但总之他是应了孟简的邀约，抛弃了朝廷命官的位置去到地方上做了一个幕僚。
他为什么这么做，他是怎样想的，没有确切的资料。但不妨从几方面来揣想，比如他对孟简的人品学问比较认可，愿意做他的属下，或者孟简允诺的待遇比较优越，前景乐观；又比如，他在获嘉令任上干得并不愉快，对升迁不抱什么希望，而对浙东幕僚之辟却抱着较大的希冀，等等。
李嗣把获嘉的公私事务一一安排妥当，就带着妻子儿女到浙东去了。
从此李商隐跟着父亲走上了离乡漂泊的途程。这时他还是个三岁左右的幼童，根本不会知道这次远游的意义。可是，在了解他一生遭际的我们看来，他儿时的这次远游似乎竟成了他一生命运的象征和预演，他生命中注定了的重要一环——远游和漂泊——就这样开始了。
到了浙东观察使的驻节地越州（今浙江绍兴），李嗣进入孟简的幕府。
唐朝方面大僚如节度使、观察使之类，使府中都有一批幕僚。幕僚们一面分担判官、支使、掌书记、巡官等职，帮助府主处理各种日常事务，算是府主的属下，一面可以由府主代为申报朝廷，请得朝廷授予的官衔，这种官衔称为宪衔。拥有宪衔的幕府人员，虽不在朝中供职，也算是有了朝廷命官的身份，也就有机会被征入朝廷为官，唐朝许多官员都有先任幕僚的经历。这也许是李嗣宁愿不做县令而不远千里奔赴浙东的又一原因。
李嗣在孟简幕府中具体担任何职并无记载，但由孟简代为请得从七品下的殿中侍御史宪衔，则见于李商隐的文章。李商隐在《仲姊志状》中称李嗣为“殿中君”，就因为此。虽然殿中侍御史的官阶并不比获嘉县令高，李嗣不免有点失望，但想想这毕竟只是个起步，以后不是没有升迁的可能，他也就默默接受了。
李商隐在《祭裴氏姊文》中说到仲姊去世，“寄暂殡之松楸”（指简葬于获嘉）的情况后，就叙述了其父李嗣前往浙江的事，紧接着是这样几句：
淛水（浙江的古称）东西，半纪漂泊。某年方就傅，家难旋臻，躬奉板舆，以引丹旐。四海无可归之地，九族无可倚之亲。既祔故丘，便同逋骇。生人穷困，闻见所无。
短短几句话，提供了相当丰富的信息。由此我们知道了，李嗣在浙江充当幕僚约有六年（半纪）光景，这六年中，并不是安定地居住在一个地方，而是处于漂泊之中。担当幕僚，奉命出差的机会是很多的，以后我们从李商隐的经历中可以多次看到。不过出差不是搬家，不但时间有限，且无须拖家带口，《祭文》中的“漂泊”二字恐怕不会是指公务出差，而是指李嗣在浙东、浙西两个幕府中都曾流连。浙东观察使的治所在越州，浙西观察使的治所在润州（今江苏镇江），两地在今天看来不算很远，但在唐朝却分属两大行政区，如果是在六年中先后分居两个地方，每地居留的时间就都不长，而且都是依人作幕，由此产生漂泊感，那是十分自然的。那么，我们就姑且认为李嗣先在浙东、后在浙西都当过幕僚吧，至于他具体何故迁移，幕主到底是谁，就无法深究了。
因为，更重要的是那篇《祭文》中后面的几句话。李嗣终于没有完成振兴家族的使命，病死在幕僚任上。“家难旋臻”说的是李嗣之死。当时，他也就是五十刚刚出头的年纪，他的长子李商隐还不满十岁，次子羲叟更小，虽然三女儿已经出阁，但下面又多出了几个小儿女。对于这一群弱小孤苦的孩子，父亲的亡故，岂不是最大的家难！
古时有十岁外出拜师读书的礼俗。现在李商隐刚到了“就傅”之年，就成了家庭的顶梁柱，他必须以李氏长子的身份，挑起这副重担。父亲的死，无疑比仲姊之死给他印象更深，影响更大。
不过，李商隐的父亲虽然身体欠佳，虽然幕务繁忙，却没有放松对商隐兄弟的教育。李嗣非常及时地为兄弟俩开蒙，教他们识字读书，并且相当超前地让他们早早接触经书。汉人说过：“遗子千金，不如一经”——你给儿子留下千金遗产，还不如教他学通一部经书，因为熟读经书才有望入仕为官，在那个时代是真正的安身立命之本，而千金不过是消耗得尽的浮财而已。李嗣服膺古人讲的道理，所以对商隐兄弟的启蒙教育抓得很紧，也很有成效。后来商隐曾给一位高官写信，其中不无骄傲地提及幼时的学习情况：
愚生二十五年矣。五年读经书，七年弄笔砚……
这里所说的时间未必那么精确，但大概在李嗣游幕浙江时期，商隐已开蒙读书，应该是可信的。
李嗣去世，李商隐一家在浙江失去立足生存的条件，唯一的办法就是回家乡去。他家从祖父李俌起移居郑州荥阳，那里是他们唯一可以回归之处。
于是，我们便从李商隐的文字里，看到了这个年将十岁的孩童身穿孝服，手持丹旐，侍奉母亲，带领弟妹，一路悲悲切切、恓恓惶惶护送父亲的灵柩水陆兼程地走在回乡路上的情景。
虽然回乡是唯一可行之路，可是在家乡又有什么在等着他们呢？“四海无可归之地，九族无可倚之亲”！四海之大，但没有一亩土地一处房产是属于他家的；遍数九族，竟没有一个能够投奔依靠的亲戚。换言之，不就是举目无亲和穷困无立锥之地吗？这话显然说得夸张了些，却离事实也不算太远。刚回故乡时，他们实在是太困难了。
经过长途跋涉和紧张忙碌，终于勉强把父亲的棺柩葬入荥阳的家坟。李商隐一大家子人一时竟无处落脚，虽已回到家乡，那感觉却像是逃难。李商隐及其弟妹们的幼年就曾经历过这样一种人生困境。