离开溪口后，蒋经国一下子似乎感到无家可归了。4月25日，蒋介石登舰后，才通知蒋经国和舰长，要到上海去。而此时，解放军已经渡过长江，上海情势非常危急。“此时到上海去，简直是重大冒险。”26日，到达上海黄浦江复兴岛的蒋介石，在岛上接见了“国防部长”徐永昌、参谋总长顾祝同、空军司令周至柔、海军司令桂永清、京沪杭警备总司令汤恩伯、保密局长毛人凤、上海防卫总司令石觉、上海警备司令陈大庆、上海市政务主任谷正纲、上海市市长陈良等人。之后，蒋介石父子又迁到上海市区励志社，为上海守军打气，并指示上海防务。直至5月7日，蒋介石才从上海撤离。
5月10日，蒋氏父子乘军舰来到普陀山。普陀山是舟山群岛中的一个小岛，为我国佛教四大名山之一。历朝在此兴建众多寺院，其中以普济、法雨、慧济三大寺，规模最大。11日，蒋经国陪同蒋介石登岸，游览慧济寺、梵音洞、天福庵。在普陀山，一名老和尚对蒋氏父子说：“寺中有一处名‘云水堂’者，专供来此朝拜的和尚食宿之用，因为‘云’飘来飘去，总是不断地流向他方而不知去处的，和尚行踪与此相类，故以云水名堂。”
老和尚的一席话，让蒋氏父子唏嘘不已。蒋经国在日记中说：“老和尚妙语解颐，亦有‘云流水’之急。窃念岂独和尚如云水，世人熙来攘往，亦莫不如云水也。韶光若白驹过隙，踪迹若水上浮萍，今日父于相依，海上飘泊，何去何从，得毋贻‘云水’之诮乎？”
5月26日，蒋介石在蒋经国等人的陪同下由马公岛飞抵高雄，自此蒋氏父子总算有了一个落脚的地方。在高雄，蒋介石几乎花了一个月的时间来研究台湾的整军、防务、军政问题。尽管早有以台湾为复兴基地的设想，但由于蒋介石父子刚来台湾，很多方面还很不习惯，总有流浪他乡之感。6月9日，蒋经国在日记中说：“昨夜月色澄朗，在住宅前静坐观赏。海天无际，白云苍狗，变幻无常，遥念故乡，深感流亡之苦。”
蒋介石迁台后，仍然牵挂大陆战事。自1949年7月初到12月底，蒋介石前后有12次前往大陆，所到之处有福州、厦门、广州、定海、重庆、成都、昆明等地，接见军政要员近百人，举行过多次党政军会议，其目的在于稳定战局，等待国际形势变化，为反攻争取时间。在蒋介石出入大陆时，蒋经国也形影不离地跟随在旁。有时，蒋经国还单独前往，传达蒋介石的指示。其中，在昆明、成都时，曾面临极大的危险，用“出生入死”来形容一点也不为过。
至1949年8月，时局对蒋介石而言更为严重。在东南沿海，解放军已于8月17日攻占福州，进逼厦门。中南地区，程潜、陈明仁在湖南起义，广东危在旦夕。而此时，美国公开发表对华白皮书，将国民党的失败归咎于蒋介石。
为了挽救战局，蒋介石于8月23日飞抵广州，召见顾祝同、薛岳、余汉谋、刘安祺等十余将领，会商广州保卫战。24日，蒋介石又飞抵重庆，会见张群、胡宗南、宋希濂，以及川、黔、康各省省主席与川、陕、甘及川、鄂、湘各边区将领，并计划拒解放军于四川之外，即以云南与陕南为决战地带，而不在川境之内与解放军周旋。
为此，蒋介石派人前往云南邀请卢汉前往重庆会谈。但卢汉出于自保，最初不愿到重庆来，经蒋介石三次去电，才于9月6日抵达重庆与蒋会面。蒋介石深知云南在西南地区的重要性，他对卢汉说：“国家的命运如何，就只看四川、云南、贵州三省了。云南又是这三省的中心，希望你们回去之后，好好努力。”
为了进一步安抚卢汉，争取云南，蒋介石又于9月22日亲自飞抵昆明。蒋经国为了保证其父的安全，于先一天抵达昆明，并作了周密安排。直到蒋介石即将抵达机场时，蒋经国才通知卢汉，并与卢汉一同前往机场迎接。上午10时，蒋介石飞抵昆明，并前往卢汉公馆午餐，然后接见了云南省高级将领，直至下午4时在蒋经国的催促下才离开昆明飞往广州。此时，卢汉已开始动摇，随时有可能扣押蒋氏父子。所以，蒋经国后来称“此次昆明之行，无异深入虎穴也”。
至11月西南局势危急，而“代总统”李宗仁远离行都重庆。蒋介石不得不飞抵重庆，主持残局。9日，张群致电蒋介石，告以蒋李宗仁“不敢回渝主政，必待总裁抵渝后，彼再来渝”。11日，行政院长阎锡山也致电蒋介石，告之“今日政务委员会决议，一致请钧座早日莅渝”。12日，蒋介石又接立法院副院长陈立夫及国民党籍立法委员70人由重庆来电，请蒋“赴渝坐镇，挽救危局”。在多方敦促下，蒋介石决定飞渝“主持残局”。他在日记中说：“德邻飞桂后，闪避不回重庆行都，整个政府形同瓦解，军民惶惑，国难已至最后关头。不管李之心理行动如何，余不能不先飞渝，主持残局，明知其挽救无望，但尽我革命职责，求其心之所安也。”
11月14日下午4时一刻，蒋经国陪同蒋介石乘机抵达重庆。蒋经国称：“此地已充满了恐慌、惊怖和死寂的空气，因国军已自贵阳撤退，秀山失守，共军已迫彭水也。”但蒋介石的到来，并没有使局势有所好转。11月28日，重庆已被解放军第四十七军、第十二军和第十一军包围。29日，蒋介石驻地后方已枪声不断，在蒋经国的催促下，蒋介石乘车离开，前往机场。在通往机场的路上一片混乱，途中三次被阻，不得已只好下车步行，通过后改乘吉普车前进，午夜12时才到达机场，随即登“中美号”专机，天一亮即飞往成都。30日，解放军占领重庆。
到达成都后，蒋介石连续召见西南军政首脑邓锡侯、刘文辉、熊克武、王方舟、胡宗南等人，研究西南作战计划。由于刘文辉、邓锡侯、卢汉正在酝酿起义，加之国民党溃不成军，党政军完全解体，西南防御计划始终未能出台。12月7日，蒋介石再召西康省主席刘文辉与西南长官公署副长官邓锡侯，但二人都不来相见。
蒋介石感到成都已经危在旦夕，遂同张群、阎锡山商讨对策，决定政府迁台，大本营设置西昌，成都设防卫总司令部。同时决定派张群飞云南，探明卢汉动向。然而，卢汉于9日在昆明通电，宣布脱离国民党阵营。卢汉还打电报给刘文辉，要其会同川军将领将蒋介石扣留。蒋介石闻讯后，知道西南大局已到了不可收拾的地步，就决定飞台北。下午2时整，蒋介石在蒋经国的陪同下在凤凰山机场登机，直飞台北。蒋经国在日记中说：“父亲返台之日，即刘文辉、邓锡侯公开通电附共之时。此次身临虎穴，比西安事变时尤为危险，祸福之间，不容一发。记之，心有余悸也。”
对于自蒋介石下野至国民政府迁台期间，蒋经国随侍父侧的表现，楚崧秋有一段比较中肯的评论，他说：
从三十七年十月至三十八年底的这段期间，翻翻史书，回溯过往，真个是惊天动地和惊心动魄。蒋经国在这危急存亡之秋公私两方面的表现，应该可说是集孤臣孽子与忠臣孝子于一身。这不但大大增进了蒋氏父子间的情感，更让老先生对经国作了炼狱式的考验。从而确认他在此大局风雨飘摇、群首忠奸莫测的时刻，颇能处处体现出不畏艰难、死里求生的意志，获致时穷节见、坚忍图成的作为，乃让蒋公每有孺子可教、可寄厚望的慰藉。
真如楚崧秋先生所述，在蒋介石第三次下野前后、国民党政权处于风雨飘摇之际，蒋经国始终伴随其父左右，不畏艰险，舍生忘死。这段生死与共的经历，不仅加深了父子间的感情，而且更加坚定了蒋介石培植蒋经国的信念。