1955年1月，张闻天告别任大使四载的莫斯科回到北京。2月1日，他正式出任外交部常务副部长兼党组副书记，协助周恩来主持外交部部务。
和张闻天在驻外使馆遇到的情况一样，新中国外交部成立六年以来，虽然在机构上已经初具规模，在工作上也卓有成效，但是其内部规章、工作制度还存在着许多不完善之处。张闻天针对这些情况，在听取了各方面情况和认真考虑后，倾注了大量精力着手改进外交部的内部工作制度。
外交部机关每天上午八时开始办公，学习文件，了解当时新闻，批阅处理电报文件。十点钟敲响，部领导即召开碰头会，交流、研究和处理当前的重要业务，落实中央的指示或者提出建议报告。这种办公制度避免了公文旅行，极大地提高了决策和工作的效率。这便是张闻天着手创建的外交部每日办公会议制度，一直沿袭到现在。除此之外，张闻天还建立了部内向驻外使馆的定期通报以及请示汇报制度、对外宣传工作会议制度以及调研工作制度等等。张闻天对外交部内部工作制度的改进，有力地提高了部机关领导水平、规范化程度和工作效率。
经过对外交部建部以来工作的回顾和总结，张闻天认为，虽然我国的外交工作取得了很大的成绩，但外交部的业务水平同形势发展和工作需要还有不少的差距。张闻天说，我们的工作只能说大体上完成了任务，也就是说工作的主动性不够，工作质量也还不高。因此，张闻天在1955年4月提出：“努力提高业务水平。”
为了提高业务水平，张闻天突出强调要加强调查研究工作，指出外交部的工作必须克服“领导者和调研工作脱节”，“调研工作与当前工作脱节”这两个问题。张闻天把部内的调研工作分成三种形式：一是外事调研，即对各国情况与国际形势的系统研究；二是临时通报，即当前动向和临时问题的研究；三是业务研究，即对领事、礼宾、条约、法律等专业问题的研究。对驻外使馆，张闻天强调要“以当前动向为主，以驻在国为主”。对各地区司，“要加强研究时局动向，及时提出看法和对策”，“动向研究不仅限于研究某些个别具体事件，还要研究地区性全球性形势及其发展趋向”。对各专业司，“要加强研究各种专门业务，总结经验，使之系统化、条理化”，要“搞出一个章法来”。
张闻天尤其强调各级领导干部要挤时间研究问题，既要考虑当前问题，又要研究重大的趋势问题。张闻天要求各个司成立专门的研究组，并将外交部政策委员会改组成研究室，协调各单位的研究工作。他还专门倡议创办了《外事研究》、《业务研究》两份刊物，以促进调研工作的开展。在张闻天的组织、督促和推动下，外交部的调研工作蔚然成风，不仅有力地提高了业务水平，而且为中央的对外决策提供了大量的参考。调研工作成为外交部日常最重要的工作之一。
译闻天对我国的外交工作充满了信心，他指出：“国际形势在发展，我国的外交战线在扩大，同我国交往的国家日益增多，许多未建交的国家终究要同我们建交，联合国终究要让我们进去，就连美国也不得不同我们来往。”从这种长远的战略上考虑，张闻天认为必须加强外交战线的基础建设。首先，他提出要建立四个专业机构，即一所学校，一个研究所，一个出版社和一座图书馆。张闻天为这项宏大的基础工程倾注了大量的心血。
1955年6月，张闻天提出以中国人民大学外交系为基础，创办一所外交学院。这项建议得到了周恩来的大力支持。张闻天亲自主持筹建，亲自过问干部教师调配，校址选择、教材编写等工作。9月，学院终于落成。张闻天在这所学校创办之初的头两年一直是它的直接领导，给予了大量的关心和支持。
张闻天认为，外交工作除了对当前的政策的研究外，还必须有对一些中长期的、全局性的和战略性的问题的研究，而这一研究需要一所专门的研究机构。1956年11月，国际关系研究所正式成立。张闻天又是亲自主持了该所的各项筹备工作。他亲自点将，要当时任南开大学校长的孟用潜出任该所的所长，还亲自倡导创办了《国际问题研究》杂志。四十年来国际关系研究所（后改名为中国的国际问题研究所），在这领域发挥了重大的作用。
1957年1月，原附设在人民出版社内的世界知识出版社独立了出来，扩大了业务范围，从而成为相当长一段时间里中国出版国际问题图书的专业出版社。张闻天建立一个专业出版社的愿望也得到了实现。世界知识出版社是我国著名的新闻出版界前辈胡愈之先生在30年代创办的，久负盛名，将其独立出来真是让张闻天欣喜不已。张闻天对“世知”的关心是十分细致的，当时有人建议让《世界知识》杂志转为内部刊物，张闻天闻讯后立即找有关机构，主张应当让这份创办于1934年的老牌刊物继续公开发行。《世界知识》杂志在中国影响了一代又一代读者，它在传播国际知识、宣传天下大事方面的功绩是不可磨灭的。
在张闻天提出的四项基础工程中，只有建议国际问题专业图书馆一项由于条件所限未能实现。但是张闻天还是亲自察看了外交系统的各种图书资料，了解掌握了全国各地的相关藏书以及档案的存放情况，并且指示把国际关系研究所的图书馆先办起来办好。
有人说，张闻天的工作和生活作风既有德国式的准确，又有美国式的灵活。他通常不熬夜，早上总是起得早，不抽烟也不喝酒，没有什么癖好。除了周末有时去跳舞外，唯一称得上爱好的就是散步。早晨起床后他总要在院子里转转，下班后他也喜欢在黄昏中走一走。张闻天还喜欢找同志一道散步，边走边谈，既自由又能深入。有一段时间张闻天还经常邀请同志在星期天一道出去散步，去中山公园、天坛公园走走，看看，聊一聊，这也是他了解情况的一种方式。工作中注意调查研究，这是张闻天一贯的工作作风。巡视驻外使馆，这是张闻天用以调查和指导工作的一个极富特色的工作形式，早在1951年，张闻天就曾经受委托巡视我国驻东欧各国使馆。就任外交部常务副部长后，张闻天继续坚持这种工作。1957年—3月至7月，张闻天巡回视察了印度、巴基斯坦、印尼、缅甸四国使馆和印度孟买、印尼雅加达两个领馆。1958年7月，张闻天在布拉格召开了驻欧洲、埃及等16国使节会议，这是我国首次在国外召开这样的会议。当时与我国建交的国家总共有26个，这次会议可以称得上是一次盛会。会议前后张闻天又对波兰、匈牙利、民德、瑞典和苏联使馆作了视察。
张闻天对国际问题的研究并不只是局限在外交部及其研究机构的范围里。1958年，他组织国内各大专院校，科研机构对战争与和平以及国际法基本理论问题进行了系统研讨。1958年11月至1959年5月，外交部、北大、人大、政法学院的周鲠生、王铁崖等一大批专家在张闻天的组织下对西方和苏联的国际法理论、建立中国国际法体系等问题进行了广泛细致的研究和讨论。每次开会，张闻天都发言，谈自己的看法和观点，并且写下了《关于国际法理论和教学的一些意见》等论文。
出任外交部常务副部长几年中，张闻天参加重大外交活动并不多，当时周恩来亲自领导外交工作，1958年陈毅出任外交部长。作为外交部的第一副手，张闻天主要是主持部内的日常工作，是外交部的“内当家”。但是张闻天这个“内当家”在促进外交工作规范化、制度化，在推进外交基础设施建设方面做出了杰出的贡献。在实际工作中，他注重调查和研究，在国际关系和外交思想理论方面也有十分重要的贡献。
张闻天在五十年代中期的国际国内政治环境中鲜明地论述道：“第二次世界大战后国际形势发生了新的根本变化”，“战争不再是不可避免的了”。张闻天指出：“现在，和平的力量已经超过了战争的力量。帝国主义发动一次新的大战已经更加困难了”。他认为帝国主义国家在“中间地带”的扩张，制造局部战争的可能是存在的，但是发动世界大战的可能是很小的了。张闻天始终认为，战后世界的社会主义革命形势并不成熟，因而战争与和平问题是占首位的，而战争与和平，张闻天明确地说：其可能性不是“一半一半、半斤八两。二者的比例应该是三七开、二八开，最少也是四六开”，“总之，看起来争取十年的和平的可能性很大。如果十年打不起来，以后就更不易打起来了。”
相互尊重主权和领土完整、互不侵犯、互不干涉内政、平等互利和平共处这五项原则是新中国外交所倡导一项根本原则，也是中国外交对世界的一项重要贡献。周恩来是这一著名原则的首倡者和实践者，而张闻天在理论方面作了突出的贡献。张闻天在1956年3月就提出：“和平共处的五项原则，不仅适用于世界上资本主义和社会主义两个不同体系的国家之间，而且也适用于同一个体系的国家之间”，“我们坚持在和平共处五项原则的基础上同世界上所有国家建立和发展关系。”张闻天的这一论述在理论上大大深化和发展了和平共处五项原则的内容与精神。
张闻天对国际问题与外交的理论研究涉及相当广泛的各个方面，先后作出了许多卓有见地的理论贡献。张闻天在论述民族解放运动问题时，强调要尊重各国的历史条件和客观现实，反复强调“革命决不能输出”。张闻天认为外交是一国内政的延续，“我们在外交上的一切活动，都为了一个目的，这就是为我国保证一个良好的国际环境，以利于我国人民的社会主义建设”。为此目的，张闻天主张要团结国际上一切可以团结的力量，建立广泛的“国际和平统一战线”。此外，张闻天还对我国外交工作的工作风格、工作方针进行了大量的论述，认为要“立场明确、旗帜鲜明、说理透彻”，“合乎实际的谦虚和深刻的自信相结合”，原则性与“力求灵活、争取主动”相结合，还要“朴素大方，既不寒酸，也不豪华”，主张“勤俭办外交”。
张闻天在外交与国际关系上的论述极富时代预见性和现实针对性，在今天读来，他的许多观点和预见一一被历史的经验与教训所证实。他在五六十年代环境下提出的许多看法，对今天的中国外交工作仍有指导作用。