哲宗绍圣元年（1094）四月，苏轼以“语涉讥讪”“讥斥先朝”的罪名落去了端明殿学士和翰林侍读学士二职，并被撤销了定州知州的职务，以左朝奉郎（正六品上）知英州，但不久即降为充左承议郎（正六品下）。苏轼离开定州前往英州，行至当涂（今安徽省当涂市），又改授建昌军（治所在今江西省南城）司马，惠州（今广东省惠阳东）安置；行至庐陵（今江西省吉安市），又改贬为宁远军（今湖南省宁远县）节度副使，仍惠州安置。苏轼一路南下，谪令屡改，国家行政已经失去理性，苏轼的命运也只能听从摆布。途中，苏轼决定将家人安置于阳羡（今浙江省宜兴市），在小儿子苏过和侍妾王朝云的陪同下奔赴贬所，同年十月到达惠州，苏轼时年五十九岁。
年近花甲的苏轼在惠州初居合江楼（实为城楼），后移居嘉祐寺松风亭。苏轼被发配到如此荒远之地，已经很难再做北归之想。绍圣二年（1096）七月五日，其爱妾朝云病逝于惠州，时年三十四岁。失去朝夕相伴的亲人，对六十二岁的苏式来说，无异于雪上加霜。但苏轼并没有被苦难和不幸打倒，更没有失去对生活的信念。就在这一年，苏轼买地建房，凿井栽树，在当地的白鹤峰营建新居。第二年，二十间新房落成，题写了“德有邻堂”“思无邪斋”，且“下有澄潭，可饮可濯。江山千里，供我遐瞩（远眺）”（《和陶时运四首并引》其二）。也在此时，长子苏迈被授韶州仁化（今广东省仁化县）令，携孙子来看望离别三年的老父亲，苏轼甚感欣慰。
苏轼在惠州虽多历忧患，但终于有了一个栖身之所。他不但在《迁居》诗中唱出了“已买白鹤峰，规作终老计”，打算在此地度过余生，而且还在《食荔枝二首》中为自己找到了充足的理由：“罗浮山下四时春，卢橘杨梅次第新。日啖荔枝三百颗，不辞长作岭南人。”苏轼虽身处逆境，但其放达、潇洒的人生态度和傲然挺立的形象仍随处得以显现。他在《纵笔》一诗中写道：“白头萧散满霜风，小阁藤床寄病容。报道先生春睡美，道人轻打五更钟。”年迈体衰的诗人，在荒蛮之地，能有如此通达、洒脱的风度和不屈于任何压力的放旷情怀，确为古今少有。清人纪晓岚评议此诗曰：“失意之人作旷达语，正是极牢骚耳。”（《诗集》卷四十）这无疑是点破了苏轼放达、潇洒背后的深层含蕴。据曾季狸《艇斋诗话》说，当时的宰相章惇看到此诗后大为光火，他不愿意看到自己的政敌日子过得如此潇洒，于是再将苏轼贬为琼州别驾。
刚与家人团聚的苏轼竟然又被贬到当时“非人所居”的海南岛。自古以来，被流放到海南岛的人很少有能生还，年迈的苏轼自然也不抱再回来的希望。他把家安置在白鹤峰，带着小儿子苏过毅然前往。家人送行，子孙恸痛于江边，在生离死别中结束了惠州四年的贬谪生活。