1月17日，隆美尔担心英军的迂回运动会打到的黎波里，于是下令将第二道临时阵地也同样放弃，迅速地撤到从塔尔休纳延伸至海岸边的霍姆斯新防线。那是墨索里尼指望他们三个星期后才到达的地方，但隆美尔只用了三天。这是的黎波里前面的最后一道防线，但这里并没有做过任何防御准备。隆美尔不打算在这里呆得太久。他对巴斯蒂柯的参谋长说：“我们实在不能指望用霍姆斯防线挡住敌军，并坚守两天以上的时间。”
“我们与英军在兵力实力上的对比是8：1，”隆美尔在1月18日说，“而且我们的给养物资，尤其是汽油，已岌岌可危。”
第二天，局势更加恶化。隆美尔几次驱车赶到非洲军团的阵地上，站在高高的山顶，注视着英军的各个师集结和准备进攻的过程。他对如此浩大的场面感到惊叹。举起望远镜，向英军坦克掀起的滚滚尘埃望去，数着那些坦克的数量。天啊，足足有200多辆！凄凉的绝望再次攫住了隆美尔的心。
很快，英军的坦克进攻开始了，隆美尔巧妙地运用不同的地势配合不同的炮火遏止了坦克的冲锋。但如此轻松的成效很快就让他意识到：英军的这次进攻只不过是一种牵制性的行动，其目的不过是想将他套住，他们一定正在其他地方捣鬼。
果然不出所料，下午2点，空中侦察部队向他报告，在他原先确信坦克不能通过的山野内陆那边发现了情况：英军的一支大部队，包括1400多辆坦克和各种车辆，正在横跨那里向西挺进，其目的仍然是迂回包抄。
下午4点，隆美尔下命令放弃塔尔休纳，继续后撤。不多一会儿，第十九轻装甲师打电话报告：“在英军一高级军官身上找到的秘密文件说明，敌人的战略目标是扎维尔。”隆美尔朝地图上瞟了一眼：扎维尔位于的黎波里以西50公里的海岸公路上。
这一眼使隆美尔的神经几乎崩溃。英军企图推到的地点比他意料中的还要远，此时正在把他关进一个水泄不通的包围圈中。
他立即命令同时放弃塔尔休纳和霍姆斯防线。
1月19日夜里11点35分，他把这些情况用密码向柏林作了报告，放弃的黎波里的意图已跃然纸上。
与此同时，蒙哥马利从截获的电文中明显地发现了隆美尔的意图。1月20日早晨，他取消了原定的战略计划，停止从内陆发起的进攻，直接沿海岸公路挺进。
隆美尔把的黎波里这个豪华的商埠和港口拱手让给蒙哥马利，从而把蒙哥马利从进退两难的窘境中解救了出来。本来蒙哥马利并没有多大信心，由于补给的困难，他早已决定：倘若进攻布厄艾特后十天之内到不了的黎波里，他就放弃这次进攻。
但现在隆美尔已把机会让给了他。
1月20日，罗马的长官们和巴斯蒂柯元帅对隆美尔的申斥纷纷而至，气焰很高。后者在电报中指责说：“依我看，敌军对你们装甲军团右翼的迂回所形成的危险并非迫在眉睫，也不像你所想像的那么严重。我要求你重新考虑你发布的那些命令，因为它们势必使撤退演变成溃逃。”
卡瓦利诺也急匆匆地从罗马飞到突尼斯。在那里的第五装甲军团总司令阿尔尼姆也同样对隆美尔的飞速撤退严加斥责，因为他把英国的空军招惹得更近了。卡瓦利诺派专人送了一封急信给隆美尔：“领袖指出，你昨夜下达的再度向西后撤的命令直接违反了他给你的指示。领袖认为，从昨夜所了解的局势及今天空中侦察的报告来看，你的行动是极为错误的。”
此时的隆美尔也得到了侦察结果。跟意大利人说的一样：内陆的英军在山岳地带骤然而止，他们不必再在山地里艰苦围抄，现在可以直接沿着海岸上的公路发起进攻了。
隆美尔立即意识到了自己的错误，正如墨索里尼断言的那样，“为时过早”了。
在过后的好几个星期里，他仍在为此感到惴惴不安，不断地自责。
1月20日下午5点，卡瓦利诺、凯塞林、巴斯蒂柯、隆美尔四位陆军元帅再次聚集在一起，每个人的神情都十分阴沉、严峻。会议再次沦为吵架和斗嘴。卡瓦利诺带着墨索里尼的指示，批评隆美尔撤得太快。隆美尔则强硬地指责那些意大利高官们，不应该总是指手画脚，舞台上唱主角的一直是非洲军团，出大力的也是。
最后，隆美尔提出，或者是装甲军团在此地战斗到最后一个人，或者是作为一支战斗部队安全到达突尼斯的马里斯防线，现在必须做出一个明确的选择。没有两个目的同时达到的可能性。
第二天，卡瓦利诺元帅郑重其事地会见了隆美尔，并闪烁其词地下达了一道命令：“领袖的指示丝毫不能更改，装甲军团也不准全军覆灭。但你要尽量地去争取时间。”
这次会面后，卡瓦利诺的决心更坚定了：他一定要找一个合适的意大利将军接替隆美尔，因为这位陆军元帅一而再、再而三地违抗军令，而且没有人可以与其合作。
但隆美尔依然我行我素，置卡瓦利诺的命令于不顾。当天夜里，他在的黎波里西部重新组建全军，次日清晨又命令所有的德意部队于当天黄昏时全部撤出该城。他说，虽然这样做会使意大利人感到很痛苦，但要是的黎波里在25日落入敌手的同时又使德军全军覆灭的话，这种痛苦将更为剧烈。23日撤退尚不致使部队遭到围歼。
利比亚的首都的黎波里就这样被隆美尔放弃了，未能及时销毁或运走的成千吨军用物资一起落入了蒙哥马利的手中。
1月25日，装甲军团先头部队开始进入突尼斯。
1943年1月26日凌晨5点59分，隆美尔的车子冒着倾盆大雨驶过利突边境进入了突尼斯。
隆美尔透过挂满水滴的车窗玻璃最后望了一眼利比亚的土地，无尽的荣耀和耻辱都留在了那一片大沙漠里。尽管他曾在那片土地上多次撤退过，但他清楚地知道，这一次绝不会像在昔兰尼加那样，他已没有力量和信心再重返利比亚了。
当天中午12点，隆美尔在新设在突尼斯的装甲军团司令部里还没有坐稳，就接到了来自意大利最高统帅部的一封加急电报：鉴于隆美尔的健康状况，在巩固马里斯战线后，将免除其总司令的职务，原非洲装甲军团更名为意大利第1集团军，总司令由意大利的乔沃尼·梅塞将军担任。请隆美尔做好交接准备。
“这简直是莫名其妙，”隆美尔报怨道，“就在我将要做出新的决策的时候却解除了我的职务，可是，他们至少应该找一位德国将军接替我。”
隆美尔为他的职位将被一名意大利将军而替代感到深为震惊。
当夜，隆美尔在自己的活动住房里彻夜没有合眼，一直在倾听着突尼斯野狗的狂吠。他情绪低落，萎靡不振，头痛病又犯了。
霍尔斯特教授为他做了紧急检查，最后将建议上呈最高统帅部：希望从2月20日起，对隆美尔进行为期不少于8周的治疗。隆美尔元帅的病情已经引起了忧郁症的突发。
入非两周年纪念
但隆美尔无心回国治疗，他一心向往的突尼斯让他重新焕发了活力。
突尼斯不同于利比亚，这是一块富庶丰饶、景色秀丽的土地。这里山势连绵起伏，草地上百花盛开，田野里玉米葱茏。一片片树林与灌木丛、果园和种植园飞来眼底。居住区内，井中泉水清清，牧马恬静安闲，一棵棵棕榈点缀其间。
隆美尔带着翻译阿尔布鲁斯特中尉驱车四处游览，他们发现这里许多阿拉伯妇女外出根本不戴面巾，老百姓比起利比亚人来要友好得多。很多地区宏伟壮观，颇有浪漫色彩。
这里就是古代的迦太基，曾是地中海的一大商业枢纽。当年的迦太基名将汉尼拔曾翻越人迹罕至的阿尔卑斯山，深入罗马帝国腹地，大败过罗马人，后来汉尼拔终因孤悬异域，粮弹不济，被迫引军退回、拔剑自杀。追往思今，隆美尔与其又何其相似？
如今，突尼斯正面临着英美两国军队的夹击。拼死一战，已不可避免。
在新的司令官未到之前，隆美尔已决定利用仅有的一点时间，在这里狠狠地打击一次美国人。
经过仔细的考察，隆美尔选定了突尼斯那两条山脉之间的贫瘠原野，作为他即将发起进攻的主要战场。