再接着就该讲到孔子的高徒颜回（又名颜渊）的故事了，虽然他算不得一个真正意义上的“隐士”，然而他是个终身清洁无染的人（没有出仕为官），这可能也就是他被列入《高士传》的缘故吧。
颜回小孔子三十岁，出生于当时鲁国的一个破败的贵族之家，家庭经济与社会地位都不怎么高，再加上当时的长期反复的政治动乱，本来艰难的生活就更是难以为继了。不过这倒养成了颜回坚强与安贫乐道的品格，尤其还使得他对于当时混乱的政治局面充满了绝望，最终其一生都在孔子门下求学，而未得出仕。
对于颜回的好学与品行孔子是赞不绝口的，《论语》《史记·仲尼弟子列传》中都有关于这方面的记载，有一次孔子偷偷地去看居于陋巷的颜回，当他看到颜回的可怜境况时，不禁赞叹道：“贤哉回也！一箪食，一瓢饮，在陋巷，人不堪其忧，回也不改其乐。”又说：“回也如愚；退而省其私，亦足以发，回也不愚。”也就是说，颜回表面看起来很愚钝，听课时没有反应，像个傻子似的，可是事后细察他的思想、实践，发现他也能够积极发挥、阐释自己所讲的道理。结果得出的结论是：“用之则行，舍之则藏，唯我与尔有是夫！”也就是说，这个颜回最和我接近，最令我满意。也因此，自汉代起，颜回被列为孔门七十二贤之首，有时祭孔时独以颜回配享。
可惜好人不长命，还在颜回二十九岁之时，“发尽白，早死”（这可能就是因为他长期营养不良的缘故，可能还要加上他太好学，因此耽误了身体的锻炼吧）。关于颜回的具体卒年不详，有的认为他活了二十九，也有的说是三十二，还有的说是四十一。对于颜回的死，孔子是非常悲痛的，他说：“天丧予”，也就是说（颜回死了）这是老天不想让我活啊！他在回顾颜回给他的门下弟子们带来的积极影响时又说：“自吾有回，门人益亲”，也就是说，自从颜回到了我的门下做弟子，我的弟子们就（彼此）和我都显得更加亲近了。还有一次，当时的鲁哀公问孔子在他的弟子之中谁最好学，孔子答道：“有颜回者好学，不迁怒，不贰过。不幸短命死矣，今也则亡。”颜回最好学了，不迁怒于人，不重复犯错误，可惜已经短命死掉了，今天已经没有这样的人了。以此足可见孔子对于他的器重。为此就曾有人这样说过：莫轻看了此“好学”，在夫子眼中，弟子中可以堪堪称得上“好学”的只有颜子，夫子亦自期以“学而不厌”，其他尚无人当得起此“好学”之名。
因为颜回一生未仕，所以《高士传》中也收录了他的事迹，里面说到颜回“贫而乐道，退居陋巷，曲肱而寝”，也就是说，他睡觉连个枕头都没有，就枕着自己的胳膊。有一次，孔子就这样问他：“回，来家贫居卑，胡不仕乎？”颜回你看看你现在这副可怜的样子，你怎么不去做官啊？颜回答道：“不愿仕。回有郭外之田五十亩，足以给粥；郭内之圃十亩，足以为丝麻。鼓宫商之音，足以自娱；习所闻于夫子，足以自乐。回何仕焉？”也就是说，我已经有吃有穿有娱乐有消遣，为什么还要出仕（做不合于自己本心的事情）呢？结果“孔子愀然变容”，说道：“善哉，回之意也。”对于那样一个动乱不安、满世污浊的年代，一个人能够安于贫贱，不为了私利做出违心的事情，尤其能够保持住自己高尚的人格、节操，这样的人的确值得赞叹。
当然《高士传》中的记载有可能是不实的，不过颜回一生未仕这倒的确是确实的。可能是因为他早死的缘故，也可能是因为他不满于当时的政治状况，也可能是他感觉自己的学问还不够扎实，他就曾经如此喟然而叹（老师孔子的学问）：“仰之弥高，钻之弥坚。瞻之在前，忽焉在后。夫子循循然善诱人，博我以文，约我以礼，欲罢不能。既竭我才，如有所立，卓尔。虽欲从之，蔑由也已。”也可能他就是想追随在孔子的左右，甚至像一个孝顺的儿子那样服侍孔子到终老。总之，这更加映衬出了颜回高洁的品行，使他受到后世一致的尊崇。颜回像，选自明·吕维祺绘《圣贤像赞》。此后作为历代封建统治者不断追加谥号于颜回：唐太宗尊之为“先师”，唐玄宗尊之为“兖公”，宋真宗加封为“兖国公”，元文宗又尊为“兖国复圣公”。明嘉靖九年改称“复圣”。山东曲阜还有“复圣庙”（颜庙）。
颜回的后人也一直以他为荣，并且也受到了他的深刻影响，比如有名的包括《颜氏家训》的作者颜之推，唐代著名的经文注释家颜师古，安史之乱中义不降叛贼最后被俘遭残杀的颜杲卿，以及著名书法家，也是安史之乱中坚决抵抗派的颜真卿等等。