后来，随着司马氏通过极其血腥的手段逐渐取得对于曹氏集团的胜利，当时魏国的政治形势就发生了一种较为深刻的变化——也就是说，司马氏的新政权需要马上巩固起来，那么它也就开始急切地需要取得士人们的一致拥护，而那些态度不明朗的人，尤其像嵇康这样名声既大而又“洁身自好”之士，就是朝廷极力要拉拢的对象；反之，此时如果不接受司马氏的拉拢，不合作就意味着不认同（孔子说“邦无道则隐”），那就只能作为反对者来对待处理了。
一直在朝廷中做官的嵇康的好友山涛（他和司马氏也有点亲戚关系），应该算是一个政治素养很高、政治敏锐性很强的人，他后来竟然做到了“三公”（相当于现在的国家副总理）。山涛首先替嵇康感受到了这种环境的压力，所以他借自己将要暂时退休的机会（以后他又被朝廷征调），想要举荐嵇康来接替自己（以图保全嵇康）。可是，嵇康没能明白山涛的深切用意，或者说嵇康就是个绝不愿意违背本心而屈从龌龊环境的人，他写了一封《与山巨源绝交书》来表明自己坚决的态度。时至今天，这封绝交书仍然非常知名，虽然嵇康并不是真的想要和度量惊人、古道热肠的山涛（巨源是他的字）绝交（嵇康死前就曾对他的儿子嵇绍说：“巨源在，汝不孤矣”，以此可见嵇康对于山涛的始终如一的莫大信任），可是他的那封绝交书却产生了非常重大的政治影响——而这也可能即是嵇康的本意，而这也同时即成为嵇康人生悲剧的肇始。
嵇康在《与山巨源绝交书》中深情地讲述了自己的生平志趣，尤其他还讲到自己有两点最不能为世俗所容：“又每非汤、武而薄周、孔，在人间不止此事，会显世教所不容，此其甚不可一也。刚肠疾恶，轻肆直言，遇事而发，此甚不可二也。”其中嵇康平日里“非汤、武而薄周、孔”的举动应该就是司马氏新政权必欲将他除之而后快的最大动机。鲁迅先生为此在《魏晋风度及文章与药及酒之关系》中给出我们的解释是这样的：“司马懿（其实应为司马昭）因这篇文章，就将嵇康杀了。非薄了汤武周孔，在现时代是不要紧的，但在当时却关系非小。汤武是以武定天下的；周公是辅成王的；孔子是祖述尧舜，而尧舜是禅让天下的。嵇康都说不好，那么，教司马懿（司马昭）篡位的时候，怎么办才是好呢？没有办法。在这一点上，嵇康于司马氏的办事上有了直接的影响，因此就非死不可了。”
《与山巨源绝交书》发出后，山涛再无一言来劝勉自己的朋友，他其实还是非常了解嵇康的为人的，我们可以试着想见他当时的那种复杂心境。可能因为嵇康与山涛在当时的名声都太大，以至于这封私人信件也流传很广，也被司马氏听进了耳朵里。当然这只是嵇康被杀的一种深刻根源，但还没有成为直接原因，所以司马氏只等待一个适当的时机以抓取嵇康的把柄，然后再不费吹灰之力地结果了他的小命。
在古代，当权者想要给反对他的人罗织罪名那还是相当容易的，这叫做“深文周纳”。不过，铁骨铮铮的嵇康哪里会怕死呢？