在经过陈、蔡两国交界处时，正赶上吴、楚两国交兵，孔子师徒又被乱军包围，可孔子还每天坚持教学，照样谈笑风生。他教育弟子：“君子固穷，小人穷斯滥矣！”意思是说，君子即使处于贫困的境地，也不会改变操守，要是小人遭遇此事，就要越轨胡来了。另外，他还派口才出众的子贡去同楚军交涉，终于在楚军保护下，死里逃生。
楚昭王想重用孔子，但遭到满朝文武大臣的极力反对。国相子西认为，孔子有实现周公事业的想法，如果给他封官加地，再加上贤能弟子的辅佐，将会对楚国构成威胁。楚昭王就此打消了念头。孔子只得离开楚国，回头北返。
最后孔子又回到卫国。这一次，他在卫国住得时间比较长。虽然他本人因不满蒯聩与卫出公二人不遵父子之道，拒绝当官，但他的弟子则有的在卫国身居高位，有的则回鲁国做了大官。年迈的孔子身居异乡，越来越想念自己的家国。在卫国居住五年之后，他终于回到阔别十四年之久的鲁国。
五、著书立说
孔子晚年能顺利归鲁，得益于他的弟子们。
鲁哀公七年，吴与鲁在于鄫会盟，鲁国被迫进献厚礼，吴国还要求鲁国的执政大臣季康子去朝见，幸亏子贡从中交涉，才免受羞辱。第二年，吴国攻打鲁国，又是以有苦为首的七百勇士誓死抵抗，才打退吴兵。鲁哀公十一年，冉求率领“季氏之甲”击退齐军，立了战功，深得季康子赏识。冉求极力向季康子推荐孔子。季康子便派人带了重礼迎孔子回国。
孔子回鲁以后，鲁哀公和季康子以“国老”之礼相待，并向他求教治国之道。但季康子的施政方法却与孔子的政治思想完全不同。季康子对鲁国盗贼众多表示担忧，向孔子求教如何治“盗”，孔子却说：“如果你自己没有贪欲，那么即使给予奖赏也不会去偷盗。”这实际是讽刺季康子的穷奢极欲。
鲁哀公十四年，齐国发生了一件大事，国相田常杀死了齐国君王简公。以下犯上，以臣弑君，这是孔子最不能容忍的大逆不道之举。于是他便拜见了鲁哀公，请求出兵伐齐。但鲁哀公却回答说：“齐强鲁弱，怎么能去讨伐呢？”让他去找执政的季康子商量。
但是季氏由于在政治见解上与孔子不和，又经常受到孔子的批评和讽刺，当然不会理睬孔子。
孔子由于一再在仕途上遭受冷遇，所以在晚年便把全部精力用在文化教育事业上，努力搜集和整理古代文献，作为教授弟子的课本。
孔子时期，周室衰微，礼乐败坏，《诗》、《书》等典籍残缺不全。孔子追溯夏、商、周三代的礼仪制度，重新编成《书传》，上起唐尧、虞舜之时，下至秦穆公时期，按历史顺序排列史事。考察了夏、殷以来礼制增减的情况后，孔子说：“从此之后，即使过了百代，礼制的增减情况都可以把握，不外乎是文彩和质朴的交替变化。周朝借鉴夏、殷两朝的礼制而确定自己的礼仪制度，真是丰富多彩啊。我遵从周朝的礼制。”《书传》、《礼记》都是孔子编订的。
古代留传下来的《诗》有上千篇，孔子删去重复的部分，选取可以用于礼仪教化的篇章，共三百零五篇，所以《诗经》又称“诗三百”。孔子将这些诗全部配乐，礼乐制度从此才得以称述，六艺齐全。在编著《诗》时，孔子阐述了他的文学观念：“《诗》三百，一言以蔽之，曰：思无邪。”这既符合当时统治阶级的正统思想，又规定了中国整个封建社会的文学创作方向，此外，他还提出“兴、观、群、怨”的诗学理论，阐释了文学的社会功能，对后世具有很大的启发作用。
孔子晚年喜好《易》经，反复研读，以至于“韦编三绝”，就是把串竹简的皮绳都磨断了三次。作为《易》的组成部分的“十翼”，即解释经文的传文，据说就与孔子有关。
《春秋》本是鲁国的编年史，孔子对其进行订正。
孔林
孔林又称“至圣林”，是孔子及其家族的墓地。经历代帝王不断赐田、重修和扩建，现总面积达二平方公里。林内古木参天、碑碣如林、石仪成群。
据说在写作《春秋》时，孔子该写就写，该删就删，连子夏等人都不能插嘴。孔子说：“后世人知道我孔丘是因为《春秋》，而怪罪我孔丘也是因为《春秋》。”在先秦时代所有的学派和学者当中，孔子在保存、整理古代文献方面，作出的贡献最大。他对保存中华民族的古代文化遗产，具有不朽的功绩。这些文献，如《诗》、《书》、《礼》、《乐》，后来都被孔子作为教学内容传授给弟子们。
然而厄运并没有放过他。孔子六十九岁那年，他的独生子孔鲤死了，老来丧子，乃是一大哀事。次年，孔子最喜爱的弟子颜渊也死了，孔子悲痛不已。再下一年，在卫国当官的子路在宫廷斗争中被株连，惨死于卫国政变。
独子和两个心爱的弟子相继死去，使孔子在感情上遭到重大打击，他在子路遇害的次年，就在悲痛中病倒了，从此一病不起。
一天，他强撑着，拄着拐杖到户外散心，正好子贡来看望他。孔子深情地说：“赐，你怎么来得这么晚啊？”接着又叹息着唱道：“泰山就要崩塌了！梁柱就要折断了！哲人就要凋谢了！”一边唱一边潸然泪下。接着，他又对子贡说：“天下失去常道已经很久了，没有人能遵循我的主张。夏人死后棺木停放在东面的台阶，周人死后棺木停放在西面的台阶，殷人死后棺木停放在厅堂的两柱之间。昨天傍晚，我梦到自己坐在两柱之间受人祭奠，我本来就是殷人啊。”七天后，孔子与世长辞。
孔子终年七十三岁，于鲁哀公十六年（公元前479年）四月己丑日去世。孔子逝世后，鲁哀公致以表示哀悼的诔词，然而这些身后荣辱对孔子又有何意义？
六、身后荣辱
孔子无论生前死后，其崇拜者都不计其数。他的弟子子贡将他比成不可逾越的日月。儒家后学荀子更将他与古代的“三王”并称。
孔子墓
位于孔林中部偏南，洙水桥北享殿后院内。其形似隆起的马背，称为“马鬣封”，是一种显示尊贵的坟墓形式。孔子逝世后，鲁哀公将孔子故居改建为庙，收藏孔子生前用过的衣冠、琴、车和书简等。相传鲁国每年按时到孔子墓地供奉祭祀，儒生们也在孔子墓地讲习礼仪，举行乡饮、大射等仪式。
除去焚书坑儒的秦朝，孔子在整个封建社会都备受推崇。尤其是到了汉朝，汉武帝“罢黜百家，独尊儒术”，以《五经》立于学官，儒家思想成了钦定的正统思想，作为儒家党派创始人的孔子的地位远远超过诸子，甚至被尊为“素王”。西汉史学家司马迁评价孔子时说：“天下的君王乃至贤人实在太多了，活着的时候都很荣耀显赫，一旦死去就消失得无影无踪了。而孔子只是个平民，可他的名声和学说却流传了十几代，学者们仍然推崇他为宗师。从天子到诸侯，凡是讲论六经道艺的人，都把孔子的学说当作是判断和衡量的最高准则，孔子可以说是至高无上的圣人了！”