1949年1月20日，杜鲁门的连任就职仪式空前隆重。天空中有700架飞机轰鸣，地面上120万人在欢呼。杜鲁门发表了就职演说，提出了外交方面一个重要的新概念，即“第四点计划”：
我国历史上的每个阶段都曾面临特殊的挑战，但我们今天面临的挑战和以往任何挑战一样严重。今天不但标志着一届新政府的开始，对我们及对整个世界来说，是一个多事之秋，或许是个具有决定性时代的开始。
在今后几年里，在我们为自由与和平的方案中，我们将强调四点行动计划。
第一，我们将一如既往地坚决支持联合国及其附属机构，并继续寻求加强其权威并提高其效率的途径。我们相信，联合国将随着各地那些在民主原则指引下朝自治方向前进的即将成立国家的加入而得到加强。
第二，我们将继续施行世界经济复兴计划。首先，这意味着我们必须先全力支持欧洲的复兴计划。我们坚信这一充满风险的计划定能成功。我们相信我们的盟邦通过复兴计划能再次成为自给自足的国家。
此外，我们必须执行减少世界贸易障碍以及增加贸易额的计划。经济复兴与和平本身取决于世界贸易的增长。
第三，我们必须加强热爱自由的国家的团结，以便抵抗侵略的威胁。
我们现在正与一些国家制订一个旨在加强北大西洋地区安全的联合公约。该公约将根据联合国宪章的条款建立共同防御协定。
第四，为了能够利用现有的先进的科学及发达的工业来改进和发展落后地区，我们必须着手拟订一项新的大胆的计划。
世界上有半数以上的人几乎生活在痛苦中。他们缺乏食物，饱受疾病的折磨；他们的经济生活原始而又停滞不前。他们的贫困无论是对自己或是对其他较为繁荣的地区都构成一种威胁和障碍。
在历史上人类将第一次用自己掌握的知识和技能来解除这些人民的痛苦。
杜鲁门称这目标为“把我们先进的科学和发达的工业技术用于改善和发展落后地区的大胆计划”。
杜鲁门的演说讲的几乎全部是对外事务，他的就职演说持续了20多分钟，重点是“四点主要行动原则”，后美国各报刊都以“第四点计划”来命名这项政策。因为他讲到第四点时，特意提高了嗓门，加重了语气，称之为“一项新的大胆的计划”。一年后，国会通过拨款2500万美元，实施这项计划。
但是1949年4月4日在华盛顿签订的北大西洋公约组织条约也许具有更重要的直接意义。
当时苏联仍然封锁着柏林，战争威胁笼罩着欧洲。北大西洋公约组织使美国、英国、法国、加拿大和其他8个国家达成共同防御的协议。北大西洋公约的内容包括一个简短的序言和14项条款。它宣布，任一缔约国的领土完整、政治独立或安全遭受威胁时，各缔约国应共同协商，由一个总司令统帅12个国家的联合部队。艾森豪威尔将军被任命为首任北大西洋公约军总司令。1949年8月24日，各缔约国按照本国的宪法程序完成批准手续，至此，公约正式生效，北大西洋公约组织正式建立。
1948年国会选举后，民主党控制了国会，可是杜鲁门很快发现，由于南方民主党保守派和共和党互相勾结阻挠，他的公平施政方案仍然不得通过。只有计划中的一个重要部分，即公共住房法案，在1949年通过了。
第二届任期中的大部分时间，杜鲁门没有住在白宫。他一家人搬到白宫对面的布莱尔大厦居住，同时总统官邸进行全面翻造刷新。1950年11月1日，两个波多黎各的民族主义狂热分子企图打进总统住宅，行刺杜鲁门。一名凶手和一名特工人员因之丧命，杜鲁门却安然无恙。
杜鲁门精力充沛，工作劲头胜过许多前任总统。他依旧保持庄稼人的早起习惯，通常5点半起床，散步一两英里，早饭前游一会儿泳。记者们经常在清晨和他一起散步，他们得加快脚步紧跟着才赶得上他矫健的步伐。杜鲁门本人还喜欢戴色彩鲜艳的领结，悠闲时好穿一身花哨的运动服，许多人认为他作为年迈的总统这身装束不够庄重，但他本人不以为然。虽从政多时，杜鲁门仍未脱尽农民气，特别是语言土得过火。在一次园艺展览会上，他一再说要养好花就要施好“粪”，致使一位贵夫人对总统妻子说：“您能不能请总统说‘肥料’。
”总统夫人绝望地答道：“天呀！办不到，我用了25年时间才教会他说‘粪’。”但这些都更增添了总统的魅力。
尽管杜鲁门一再呼吁要实现原子能的国际共管，但未能与苏联达成任何有效的协议。1949年9月苏联爆炸了第一颗原子弹之后，杜鲁门随即下令制造更巨大、威胁力更强的氢弹。
并在他执政的后期（1952年11月）试验了第一颗氢弹。
杜鲁门外交上最大的失败是对中国的问题。马歇尔将军和魏德迈将军率领的两个代表团，都未能阻止中国内战。后来美国支持的、以蒋介石为首的国民党军队战败。1949年，蒋逃到台湾，中国共产党领导人民大众解放了整个中国大陆，建立了中华人民共和国。
在整个杜鲁门执政期间，由于国会不断进行清查，使国内对“共产党颠覆活动”的恐惧心理达到了歇斯底里的程度。国会加利福尼亚州众议员理查德·尼克松和威斯康星州参议员约瑟夫·麦卡锡，是这些调查活动中的两位最显赫的人物。1950年2月9日，共和党参议员约瑟夫·麦卡锡在西弗吉尼亚州惠林市发表演说时，指责国务院中“充斥着共产党人”。同年对曾在罗斯福政府和杜鲁门政府的国务院中任职的阿尔杰·希斯判处伪证罪，因为他否认在30年代曾参加共产党间谍网。在50年代，麦卡锡声称国务院里有200多名共产党分子，说国务卿迪安·艾奇逊“对共产党手软”。虽然杜鲁门驳斥了麦卡锡主义，但麦卡锡还是开始了法西斯式的政治迫害活动，以后用他名字命名的“麦卡锡主义”在美国政治生活中影响很深。
1950年6月，杜鲁门遇到了严重问题，后来他说这是他总统任期内最棘手的决策问题。6月25日，朝鲜内战爆发。在苏联代表缺席的情况下，联合国安理会谴责北朝鲜为侵略者，并号召各成员国支援南朝鲜。6月28日，杜鲁门命令美国武装部队参战。战争持续了3年多。1950年10月，中国政府派出了强大的中国人民志愿军，帮助北朝鲜作战，使麦克阿瑟指挥的联合国军遭到严重失败。此后的几个月里，麦克阿瑟一再攻击杜鲁门政府不把战争扩大到中国的政策。杜鲁门最后忍无可忍，于1951年4月11日解除了麦克阿瑟的总司令职务。1951年7月10日，朝鲜停战谈判在开城开始举行，10月8日，谈判移至板门店，战争进入边谈边打、谈谈打打的新阶段。这场战争也是第二次世界大战后第一次大规模的国际性局部战争。
在国内，由于朝鲜战争又引起了严重的通货膨胀；后来国会通过决议重新实施物价和工资管制。1952年4月，钢铁工人与钢铁厂主的工资谈判破裂，杜鲁门决定接管钢铁工业。这引起了实业界的愤怒。6月，最高法院判决，接管是违反宪法的。结果，发生了历时七周的大罢工，最后才达成协议。
杜鲁门作出出兵朝鲜的决定，造成数十万美国官兵在这场战争中丧生，使这位一向很自信的总统形象大受损害。1952年春天，杜鲁门宣布他不再竞选连任。事先，共和党控制的国会已经通过了第二十二项宪法修正案，限制总统任期不得超过整整两届。但这项修正案主要是由于罗斯福的连任四届总统而引起的反应，对于杜鲁门并不适用，因为他的任期还不足整整两届。杜鲁门选定伊利诺伊州州长艾德莱·史蒂文森作为他的继任人选，并帮助史蒂文森获得提名。但是在竞选中，史蒂文森似乎故意不为杜鲁门政府的政绩辩护，杜鲁门感到很失望。
共和党提名艾森豪威尔将军为候选人。他提出朝鲜战争问题，还揭露杜鲁门手下人员的贪污腐化，并谴责杜鲁门政府对“政府中的共产主义分子软弱无能”等等，以此来作为他竞选的主要题材。后来，当艾森豪威尔获压倒多数票而获胜时，杜鲁门深以自己未再度参加竞选而感到后悔。
艾森豪威尔上任后。1953年1月20日，杜鲁门正式离开了白宫总统办公室。此后的几年里，他用了很多时间，撰写了两卷总统回忆录：《决策的年代》（1955年出版）和《困难与希望的年代》（1956年出版），并以版税60万美元的高价售出。同很多退休的美国总统一样，杜鲁门着手建立一个杜鲁门图书馆。他的朋友们集资在独立城建筑了一所哈里·S·杜鲁门图书馆，于1957年落成，以供这位前总统贮藏他任总统时期的文件以及办公之用。杜鲁门自己很喜欢这个图书馆，他经常在那里工作，并热情地接待借阅者。
1960年，76岁的杜鲁门为哥伦比亚大学学生开设讲座，作了一系列讲演，阐述他任总统时期的一些问题。这些讲稿后来以《杜鲁门演讲集》为书名出版。在演讲中，他特别批判了第二十二项宪法修正案，说这条修正案使所有连任第二届的总统都成了“跛小鸭”。他又回忆往事，指出这条修正案对他是不能适用的，并且开玩笑：“到90岁的时候我还要竞选！”
对于1961年肯尼迪执政期间由民主党再度控制国会，以及1964年间约翰逊执政时期民主党继续控制国会，杜鲁门都表示高兴。他尤其感到荣幸的是：约翰逊总统特地飞往独立城，签署了“公办医疗保险法案”，为老年人提供医疗补助--这项法案本是“公平施政”纲领的一部分，它最初是由杜鲁门提出来的。
1972年，杜鲁门呼吸道感染，体力衰竭。在密苏里州堪萨斯城的科研医院和医疗中心与病魔搏斗了25天，终于在12月26日去世，终年88岁。虽然杜鲁门任总统时曾批准了要为他举行国葬的要求，当时他就遗憾地讲“确实声势赫赫，可惜我看不到了”，但是他的遗孀却坚持一切从简。参加杜鲁门葬礼的大都是他的家人和老朋友。按杜鲁门夫人的意愿，他被安葬在杜鲁门图书馆庭院内一片长着橡树、樱桃和山楂的丛林前。这座庭院现在是杜鲁门博物馆，每天向公众开放，门票为50美分。
杜鲁门在回忆录中谈到总统职务时说：“美国总统个人所担负的责任之大是无可比拟的。很少有人曾经授权来替总统发言。没有人能代替总统作出决策。在他作出重大决策时，没有人知道他作出种种决策时的全部思维过程和发展阶段。即使他最亲近的人，即使他的直系亲属，也无法了解他为什么要做某些事情、为什么会做出某些结论。美国总统是孤独的，在重大决策的时候，他非常非常孤独。”
杜鲁门在评价自己时说：“我并不是一个伟大的总统，但是我敢说，我一直是向这个方面努力的。”而温斯顿·丘吉尔对他的推崇却更高。他对杜鲁门说：“在拯救西方文明上，谁的贡献也比不上你。”