先前，嵇康家中有一棵柳树长得非常茂盛，于是嵇康就在这棵树的四周挖了一道深沟并通上了水，每到夏天的时候，他还在这棵树下打铁以消遣（据说可能此时嵇康生活拮据，打铁确是一种营生）。有一个名叫吕安的东平人很仰慕嵇康的高致，每当他想念起嵇康的时候就会不远千里驱车前往嵇康处来看望他，嵇康也非常珍惜这位朋友。后来，吕安的哥哥因为行为不端奸污了吕安的妻子，反而恶人先告状地诬陷说吕安不孝；嵇康本来和吕氏兄弟都非常熟悉，就被吕安邀请来从中作调解。嵇康因为深恶吕安哥哥的为人，结果由于他与吕氏兄弟书信往还中言辞激烈（爱憎分明），居然也被奇怪地牵连到这起“不孝案”中，和吕安一起被收捕入狱。这一下可就让当权的司马氏抓到了收拾嵇康的机会，当时司马氏正大倡“圣朝以孝治天下”（李密《陈情表》）。
再有很重要的一点，在嵇康最终被杀一事中有一个人应该起到了推波助澜的作用，他就是钟会。钟会是当时著名的书法家、政治家钟繇的儿子，钟会本人“精练有才辩”，不仅具有很高的文化素养（也是一位知名的玄学家），而且还是个难得的军政干才，政治野心也很大。据传他与嵇康之间有些不愉快，或者说他可能非常嫉妒嵇康的高名（他也向来敬畏嵇康，因此有后人怀疑嵇康之死他不负主要责任，他只是暗承司马氏之意）。有一次，他去造访嵇康，当时嵇康正好和向秀在那棵家中的大柳树下专心致志地打铁，嵇康出于对权贵的蔑视（或许还有对钟会为人的鄙夷），竟然自始至终都没有搭理钟大公子。过了很久之后，钟会很识趣地要离开，这时候嵇康却开口了：“（你）何所闻而来？何所见而去？”这个钟会自然很不忿嵇康对他的冷遇，于是回答了一句既机智又似乎饱含深意的话：“闻所闻而来，见所见而去。”从此以后，他就对嵇康怀恨在心，而且他也终于成为司马昭的心腹。
因此等到吕安“不孝案”事发时，钟会对司马昭（当时是掌握实权的大将军，后来被他的儿子司马炎追封为晋文帝）说：“嵇康就是一条卧龙，我们不能轻易让他得志。现在您环顾整个天下，其实只有嵇康这家伙最让人不放心了。”接着他又煽风点火道：“嵇康当初想去帮助谋反的毌丘俭，他还想拉山涛入伙，而因为山涛不听，结果嵇康就没有去成（但他就因为这件事和山涛绝交）。想当初姜太公在齐国时诛杀了华士，孔子在鲁国时诛杀了少正卯，这都是因为他们败坏时俗和名教，所以圣贤才下决心除掉了他们。而今，嵇康、吕安这些人言论放肆，诋毁圣贤经典，这是作为帝王的所不应该容忍的。”就这样，居心叵测、深谙政道的钟会最后建议司马昭把嵇康、吕安一同杀掉——美其名曰“宜因衅除之，以淳风俗”；于是，被一击而中痛处的司马昭就听信了钟会的“指教”。
然而等到嵇康去东市（杀人场）就刑的时候，当时的太学生因为普遍仰慕嵇康的人品与学养，于是三千人凑到一起为嵇康请愿，请求朝廷宽恕嵇康并且让嵇康到太学去做老师；司马昭自然不能同意，他决心已定（嵇康的言行那可是司马氏最忌讳的）。而嵇康本人面对将要到来的死刑却丝毫没有畏惧之心，他早已看透了生死。在刑场上，他看了看时辰，觉得自己距离执行死刑的时刻还有一段时间，于是就向监刑者要了一把古琴弹奏起来。这支临终的曲子名叫《广陵散》，相传乃是嵇康在一次出游中无意间碰到一位高人传授的，而且这位自称“古人”的高人还让嵇康发誓不再传给别人。“声调绝伦”的一曲过后，嵇康突然有点失落地说道：“从前袁孝尼（嵇康的外甥）很想跟我学习这曲《广陵散》，可是我都固执着没有教给他，现在《广陵散》就要从此成为绝响了啊！”接着，便慨然赴死（人道“目送归鸿，手挥五弦：精神依然故我”），时年虚岁四十。
当嵇康的死讯在当时的天下传开时，“海内之士，莫不痛之”；甚至连司马昭本人也流露出了丝丝悔意（寻悟而恨焉）。《晋书·嵇康传》的最后是这样推崇他的：“康善谈理，又能属文，其高情远趣，率然玄远。撰上古以来高士为之传赞，欲友其人于千载也。又作《太师箴》，亦足以明帝王之道焉。复作《声无哀乐论》，甚有条理。”南朝著名诗人颜延之《五君咏·嵇中散》推崇他：“中散不偶世，本自餐霞人。形解验默仙，吐论知凝神。立俗迕流议，寻山洽隐沦。鸾翮有时铩，龙性谁能驯。”鲁迅先生一生酷爱嵇康之文，称誉其人风貌特立时道：“思想新颖，往往与古时旧说反对。”
嵇康之死最终成为中国文化史上影响深远的一件大事，他的鲜血注定了不会白流。