贞元十一年（795）五月至九月，韩愈在老家河阳度过了一段清贫而安闲的乡居生活。但他求仕之心未泯，遂于这年九月离家奔赴一河之隔的洛阳。洛阳是唐王朝的东都，王侯达官如织，显然是一个便于他从事干谒活动的理想之地。在洛阳的日子，同样是落寞的，但不久，天上就掉下了馅饼。
贞元十二年三月，董晋以兵部尚书充东都留守兼东都畿、汝州防御使来到洛阳。董晋是一位名人，曾与韩愈叔父韩绅卿为同僚，韩愈在长安十年虽未捞到一官半职，但因文章写得好，名声大噪，想必董晋亦知其人。所以他一到洛阳，即接纳韩愈入幕，这使韩愈大喜过望，一辈子都感激董晋的知遇之恩。同年七月，汴州（今河南省开封市）发生兵乱，朝廷任命董晋检校尚书右仆射，同中书门下平章事、汴州刺史、宣武节度使及汴、宋、亳、颖等州观察处置使，急赴汴州，韩愈即随董晋前往。董晋是个宽厚长者，史称“柔儒”，他对汴州的乱局沉静不惧，在“不用兵卫”的情况下进入汴州，很快平息了事态。
韩愈在董晋幕府，最初被辟为节度掌书记。董晋身为宰相而兼汴州刺史，其幕僚多为资深人士，如汝州刺史陆长源，左司郎中杨凝、殿中侍御史杜伦、孟叔度等，只有韩愈是个布衣之士。有人讥笑他为“年辈相辽（资历差距太大）”“愈闻而答曰：‘大虫（老虎）老鼠，俱为十二相属，何怪之有！’旬日传布于长安。”（李肇《国史补》卷上）看来韩愈并不介意此事，他所关注的是要干工作。节度掌书记只是董晋给他的头衔，并非朝廷正式任命，所以工资待遇不高，而又无多少事情可做，这使得他郁郁寡欢。贞元十三年七月，韩愈“有负薪之疾，退休与居”（《复志赋》序）。所谓“负薪”，有两解：一是贱者之称，二是士人有病之称；所谓“退休”，不是我们今天所说的“退休”，而是从官府退下来在家休息。看来是韩愈因病休假，但从其《复志赋》来看，他是不甘心于屈居幕府，也不满于朝廷的正式任命迟迟不下达，于是借泡病号来向董晋施压，其真实意图是伸手要正式的官职，要干实实在在的工作。大概是董晋领悟了韩愈的真意，暗中催促，大约在贞元十四年（798）初，朝廷的正式任命下来，任命他为汴州观察推官，加秘书省校书郎衔，为从九品下的小官。尽管韩愈对这官微禄薄的职务不满，但他毕竟已正式成为吃皇粮的国家公务员，再加上碍于董晋的面子，还是在这里待下去了。一年之后，即贞元十五年二月，董晋突然去世。韩愈因与董晋的特殊关系，亲自护送董晋的灵柩到洛阳。董晋一死，汴州又乱，叛军杀了陆长源等众多幕僚。韩愈因去洛阳而幸免于难。虽然保住了一条命，但官又丢了，并且与家人离散，吉凶未卜。后得知其家眷在其堂兄韩俞的帮助下抵达了徐州，而韩愈也在经历了二十多天的惊恐忧患之后，于二月底到达徐州和家人团聚。
韩愈全家逃到徐州，投奔时任徐、泗、濠三州节度使的张建封。张建封曾当过宰相，故韩愈称其为“张仆射”。张建封是一个“慷慨负气”、以功名为己任的人物，又有“礼贤下士”的好名声。韩愈自称张建封“与吾有故”，是老相识，故来相投。张建封也真够哥儿们，不但安排他全家居住在睢水北岸，而且给予了相当不错的物质待遇。韩愈在其诗中对其生活状况有详尽描述：“箧中有余衣，盎中有余粮。闭门读书史，清风窗户凉。”（《此日足可惜一首赠张籍》）“妖姬坐左右，柔指发哀弹。酒肴虽日陈，感激宁为欢？”（《龊龊》）不但衣食有余，有暇读书，而且是酒肴日陈，歌姬侍候，日子不可谓不潇洒。但韩愈不是庸人，不愿吃闲饭，他还是要官做，要事情干的，这“感激宁为欢”一语，即委婉而又明白地亮出了自己的底牌：你给我的优厚的生活待遇，我很感激，但这样的日子却不是我所乐意的。以张建封的聪明，不难悟出韩愈是伸手要官做。于是张建封就给了他一个徐州节度推官，加协律郎的职衔，给张建封参谋军事。
韩愈是个直性子的人，秉性不改，有见辄言，史称“发言直率，无所畏避”。张建封官高势大，就不喜欢别人给自己提意见，而韩愈却就喜欢给他提意见。如张建封要求幕僚严苛，规定了“晨入夜归”的上班时间，韩愈觉得受不了，理直气壮地和他讨价还价；张建封喜欢打马球，而韩愈则写信给张建封，大谈打马球之害：“有危堕之忧，有激射之虞，小者伤面目，大者残形躯”。不但说打马球是高危险运动，容易摔倒受伤致残，而且还不客气地批评张建封“谏者不休，执事不止”的顽固态度；他对张建封经常摆酒作乐也时有非议。由于韩愈直言无忌，与张建封时有冲突，关系难以协调，再加上他对百无聊赖的幕府生活厌倦，遂起离开徐州之意。其得意弟子兼侄女婿李翱知其在徐州过得不愉快，致信希望他再回长安以谋发展。韩愈认为：徐州虽非“可乐”之地，张建封也非“大相知”之人，但长安更是让他心灵深受创伤的可畏之地。徐州待不下去，长安又不愿去，几经斗争，最终韩愈决定离开徐州，另谋出路。遂于贞元十五年秋天，罢去幕职，举家离开徐州，西行至洛阳，结束了两入军幕、寄人篱下的生活。