韩愈在《醉赠张秘书》一诗中说：“长安众富儿，盘馔罗羶荤。不解文字饮，惟识醉红裙。”在这首写给好友张籍的诗中，他批评了京城长安的“富二代”们只知山珍海味，胡吃海喝。文人饮酒，谈诗论文，本为雅事，而这些玩闹们根本不懂文字之饮，只知道和歌女们戏谑。这个批评，无论是在当时，还是在今天，都是善意的，无可厚非的。然而，没想到他也被世人抓住“把柄”，说他是伪君子，也“未忘情于红裙”。
他的把柄就在于他有两位小妾。宋人王谠在其《唐语林》中遂编出一段故事：“韩退之有二妾，一曰绛桃，一曰柳枝，皆能歌舞。初使王庭凑，至寿阳驿，绝句云：‘风光欲动（初春）别长安，春半边城特地寒（特别冷）。不见园花兼巷柳，马头惟有月团圆。’盖有所属（有其用意）也。柳枝后逾垣（跳墙）遁去（逃跑），家人追获。及镇州初归，诗曰：‘别来杨柳街头树，摆弄春风只欲飞。还有小园桃李在，留花不放待郎归。’自是，专宠绛桃矣。”这就成了后人说韩愈晚年有声色之好，未忘情于红裙的主要依据。
其实，这不过是后世好事文人编造的一则桃色新闻而已。
韩愈有没有两位小妾？确实有。柳枝是否逃跑了，韩愈专宠绛桃？似乎不是。张籍在《祭退之》一诗中，谈及韩愈临终卧病的情况：“乃出二侍女，合弹琵琶筝……公疾浸日家，孺人视药汤。”可见韩愈临终前仍有二侍女为其弹奏解闷和服侍其生活。有人据此便大惊小怪：有两位年轻侍女，还不是好声色？这些人是缺乏起码的常识。陈寅恪先生在《元白诗笺证稿》中说得好：“夫唐世士大夫之不可一日无妾媵之侍，乃关于时代之风俗，自不可以今日之标准，为苛求评论。”在唐代，皇帝可以“后宫佳丽三千人”，达官显贵家里“粉白黛绿者，列屋而闲居”，像韩愈这样的高官，有两位侍妾，实在不算一回事。当然如在今天，不要说两个，就是有一个，也该蹲监狱。何况，唐代文人的习俗，我们也不可不知：饮酒、狎妓，几乎是他们的必修课，无此两项，似乎就不算得一个合格的文人。如果我们以今天的法律和道德标准要求唐代的知识分子，那么，诗仙李白、诗圣杜甫也都得进入违法乱纪、道德不良者之列，何论韩愈？了解了这些，我们就会大大淡化对这个问题严重性的认识。
再谈王谠所引韩愈的两首诗。王谠所引第一首诗，是见于韩愈文集的《夕次寿阳驿书吴郎中诗后》，可见是韩愈对吴郎中诗的一首和诗。是说自己初春即奉命离京，至春半到河北寿阳驿，天气仍十分寒冷，所以巷柳未绿，园花未花，所能看到的只是马前的一轮清冷明月，显然是一首写景诗，而被王谠附会为思念二妾的艳诗。认为韩愈奉诏宣抚王庭凑，不思重任在身，而想小老婆，不但思想境界不高，而且有亵渎王命之嫌。第二首诗见于韩愈文集的《镇州初归》。韩愈不辱使命，圆满完成任务，提前返京，心情非常不错。诗中说自己回京，街头已杨柳依依，随风婀娜，而后园桃李未残，尚在开放。说明自己回京之速，春景犹在。而也竟被王谠附会为柳枝不老实跳墙逃跑，韩愈欣慰尚有绛桃忠于自己。把韩愈这两首通过写景来反映自己心情的诗作附会为艳情之作，故事编得有声有色，不明真相的人还觉得入情入理。其实这也都是小说家之流、好事文人编造桃色新闻的惯技。
韩愈也是人，七情六欲乃人之常情。韩愈批评“富二代”“惟识醉红裙”并不说明他是个禁欲主义者。韩愈尽管有两位侍妾，但他在唐代的官僚士大夫中，生活作风应算是相当严谨的，至于一些艳情传闻，小说家姑妄言之，听者不妨一笑置之。