国民党迁台后，在外交上主要有两大目标：一是维持在联合国中的席位，以确保其“法统”；一是维持其与美国的盟友关系。而后一个目标更为重要，台湾当局认为，如果不能同时确保两者，则宁愿放弃联合国的席位，也要保持“中美”之间的盟友关系。然而，台湾当局即便失去了联合国中的席位，也未能阻止美国政府改善与中国大陆关系的步伐。
1972年2月21日，美国总统尼克松飞抵北京，并就中美关系正常化以及双方关心的问题，同毛泽东、周恩来进行了广泛、认真和坦诚的讨论。尼克松在与周恩来会晤时，提出了美国对台问题的五点原则：
（一）只有一个中国，台湾是中国的一部分。
（二）我们不曾也不会支援任何台湾独立运动。
（三）在我们逐渐撤出台湾时，我们会竭尽所能地运用影响力，阻止日本进驻台湾。
（四）我们将支持任何能够和平解决台湾问题的办法。与此有关的一点是，我们不会支持台湾政府任何想藉军事手段返回大陆的企图。
（五）我们希望和中华人民共和国建立正常外交关系。
2月28日，经中美双方领导人磋商，共同发表了《上海公报》。在公报中，中美双方分别就国际形势、中美关系、台湾问题等各自表述了自己的立场与态度。在台湾问题上，中方的表述是：台湾问题是阻碍中美两国关系正常化的关键问题；中华人民共和国政府是中国的唯一合法政府；台湾是中国的一个省，早已归还中国；解放台湾是中国的内政，别国无权干涉；全部美国武装力量和军事设施必须从台湾撤走。中国政府坚决反对任何旨在制造“一中一台”、“一个中国，两个政府”、“两个中国”、“台湾独立”和鼓吹“台湾地位未定”的活动。美方的表述是：“美国认识到，在台湾海峡两边所有中国人都认为只有一个中国，台湾是中国的一部分。美国政府对这一立场不提出异议。它重申它对由中国人自己和平解决台湾问题的关心。考虑到这一前景，它确认从台湾撤出全部美国武装力量和军事设施的最终目标。在此期间，它将随着这个地区紧张局势的缓和逐步减少它在台湾的武装力量和军事设施。”《上海公报》是中美两国签署的第一个指导双边关系的文件。它的发表，标志着中美隔绝状态的结束和关系正常化进程的开始。
尼克松称他的北京之行是“改变世界的一周”。然而，对于蒋介石父子而言，则是继联合国被逐后的又一次重大打击。2月12日，蒋介石一面令蒋经国等人商讨对策，应对中美建交后，是否对美断交问题，一面又令外交部针对尼克松访华发表声明。22日，尼克松抵达北京后，蒋介石非常关注其动向，蒋经国则每天早晚向蒋介石汇报。《上海公报》发表后，蒋介石更是愤激异常，他说：“‘匪’美公报在上海发表，其内容皆由‘共匪’一方面的一面之词，美尼不敢提其所应有之立场，对我‘中华民国’皆以台湾代之”，“阅尼丑与周‘匪’所发表之联合公报不胜愤慨，此为尼丑手出卖我政府既定之方针，亦为其枪下屈服之一举，无耻已极”。
余怒未消之际，蒋介石的另一“忠实外交盟友”日本也开始发生变化。尼克松访华后，日本朝野大为震惊，因为佐藤内阁一直跟在美国屁股后面敌视中国，第26届联大召开时，又追随美国阻挠恢复中国的合法席位。此刻，美国却在悄悄地同中国大陆改善关系，这使佐藤内阁受到社会舆论的冲击，被迫辞职。继任的田中内阁一上台就开始打中国牌，他在就职演说中宣布把实现中日邦交正常化作为新成立内阁的首要任务，并宣称“日中邦交正常化的时机已经十分成熟”。
田中的就职演说震怒了蒋氏父子。为此，父子俩曾多次商讨与日本的关系，并决定“阐明我严正立场”。7月19日，蒋经国对日本“大使”说：“三军可夺帅，匹夫不可夺志也”，并警告日本不要为中共政治阴谋所乘。7月25日，台湾当局驻日“大使”彭孟缉约见日本外相大平正芳，告以反对日本与大陆中共国交正常化。
然而，蒋介石父子的严正立场未能阻止日本首相田中角荣访华。9月29日，日中两国在北京发表了中日邦交正常化的联合声明，宣布结束两国间的不正常关系，恢复正式外交关系，日本承认中华人民共和国为“唯一合法的中国政府”。同时，日本大平正芳外相表示，从即日起“日台条约”失效。
对于日本的“背信弃义”，蒋经国说：“自从‘中日’关系恶化以来，我们对日基本态度是：第一，尽力维持‘中日两国’的‘邦交’与‘中日和平条约’；第二，一旦日本背信忘义，造成与我们决裂的情势，我们要日本政府负起‘断交’的责任，以及由此而产生的任何不幸后果。”蒋经国还宣称：大陆中共不能代表中国，所有日本政府与中共在谈判中达成的任何协议，“都属非法无效”。
然而，蒋经国内心很清楚，自从被逐出联合国后，台湾的“外交”空间就大为缩小，而美国总统尼克松的访华则为一些亲美国家抛弃台湾当局，转而承认中华人民共和国提供了完美的理由。自此，日本以及一些东南亚国家也纷纷与台断交，截至1973年2月，仅有39个国家与地区同台湾当局保持“外交”关系。“外交部”被人讥讽为“绝交部”。