为了远大的追求而暂时退避三舍的忍耐，那是有远见的坚忍。曾国藩初到长沙办团练的时候，按照皇帝的原旨只是让他到省城帮办湖南团练事务。团练并非正规部队，其职守也只是“帮办”，归根结底也只是帮着省里维持地方治安而已，顶多在关键之时要率领团练守卫地方。但是由于曾国藩为了实现像他给皇帝上的奏折中所说的那样要“成一劲旅”，即实质上正规军的目标，以及他对大清王朝的耿耿忠心，乃至以天下为己任的高度责任感，便做出了几多干预地方“公事”的过刚蛮干之举。
其中一件事，就是开了一个新衙门——湖南审案局。曾国藩在办审案局期间，对地方不良分子实行严酷手段，下令不论是盗贼、土匪、游勇，捉一个杀一个。以至于湖南百姓士子都知道长沙出了一个残忍酷毒的团练头子曾国藩。许多人向省里告状，说“审案局”是阎王殿，连审案局里的一些官员也表示不再干这份伤天害理的差事了。但曾国藩见严刑酷法对整治骚乱确有成效，不仅没有收敛，反面变本加厉，亲自拟定了“格杀勿论”、“就地正法”的告示，盖上“钦命帮办团练大臣”的紫花官钤让团丁四处张贴，弄得长沙城及湖南全省一片恐怖。按他给咸丰皇帝上的奏报说，他的“审案局”不满四个月就杀了一百三十七人，由他批示各县“就地正法”者更多，他给亲友的信中所写杀人之数远不止此数。这种做法虽然暂时得到了湖南巡抚张亮基的赞I司与支持，但却受到了湖南社会舆论的强烈抨击，人们甚至给他送了诸如“曾剃头”和“曾屠户”的绰号，以表示对他的强烈愤恨。后来，等到张亮基因太平军攻下武汉被调往武昌接任湖广总督之缺，湖南巡抚由布政使潘铎署理。不久原湖南巡抚骆秉章又重任旧职，布政使徐有壬、按察使陶恩培，都由外面调来后，这三个人都不买曾国藩的账，曾国藩的日子就不好过了。
另外一件对曾国藩影响很大的事情，是咸丰三年（公元1853年）九月，曾国藩因越权干预绿营兵事务所引发的绿营兵闹署事件。
本来，按照清朝常例，一省的军事最高长官是提督，负责绿营兵的训练等事务，团练大臣只能管辖团勇，对地方绿营军营务根本无权过问。可那湖南提督鲍起豹很是无能，将几千绿营兵一并交给曾国藩所提拔的抚标中军参将塔齐布统一训练，湘勇与绿营共同操练。曾国藩对于训练要求非常严格，风雨烈日，照常操练，这对于那些来自田间地头的乡勇来说，并不以为太苦，但对于平日只知喝酒、赌钱、抽大烟的绿营兵，却无异是一种“酷刑”。于是，先是有副将清德拒不出操，根本不把曾国藩和塔齐布放在眼里。接着提督鲍起豹也与清德搅在一起，与塔齐布为难寻衅，公然对士兵宣称：“大热天还要出操，这不是存心跟将士过不去吗？”于是，绿营兵越来越憎恨曾国藩和塔齐布等人。
长沙城内，同时驻扎着两种军队：绿营兵与湘勇。绿营因战斗力差，颇被湘勇看不起，而湘勇的月薪高出绿营兵二三倍之多，又为绿营兵嫉妒。因而兵勇之间常发生摩擦。再加上鲍起豹等人从中挑拨，致使双方愈来愈势同水火，渐至发生械斗。曾国藩起初本着“息事宁人”的态度，只将参与械斗的勇丁加以棍责，严加约束，绿营兵则置之不问，谁知这样一来，正应了两句话：“君子愈让，小人愈妄”。绿营气焰更盛，益发嚣张，公然凌辱勇叮咸丰三年（公元1853年）八月初六，绿营兵竟然整齐队伍，带着武器，呜号击鼓，围住参将府，要杀塔齐布，吓得塔齐布躲在菜园旁边的草丛里，才逃得性命。然而，绿营兵找不到塔齐布，在一把火烧了参将府后，又一窝蜂似的拥到团练大臣曾国藩的官邸，照样团团围住，扬言要杀曾国藩，并打伤了曾国藩的好几名卫士。
曾国藩狼狈不堪，只得向巡抚骆秉章求救。本来就驻在隔壁的骆秉章早就听到了曾国藩馆发生的事情，可因对曾国藩在办团练过程中所表现出来的那种非官非绅、自以为是非常不满，也想借此教训教训曾国藩，所以便一直在旁边看热闹。直到曾国藩来向他求救，才不得不出面。但此时的骆巡抚不仅没有安慰受惊的曾国藩半句，反而给肇事者松了绑，向他们赔不是，让绿营兵各自回营。而且，事后骆秉章对此事不仅不进行查究，想不了了之，甚至暗中指使人散布说，是由于曾国藩干预官府的兵权，才闹出事来，完全是咎由自龋
当时曾国藩本想立即将此事件上告朝廷，拼个究竟，但他经过对利弊的权衡，认为：“为臣子者不能为国家弭大乱，反以琐事上渎君父之听，方寸窃窃不安。欲隐忍濡自恣，则平日本以虚声弹压匪徒，一日挫损，鼠辈行将跳掷自恣，初终恐难一律。”终于忍了下来。
本来地方团练大臣的地位就很尴尬，他们既不是地方大吏，又不是钦差大臣，只是辅佐地方组织地主武装，协同保护地方秩序的临时性组织者，这个举措是清政府的应急手段，而曾国藩刚则有余，一味蛮干，以钦差大臣自居，到处自以为是，因此曾国藩初办团练自然是困难重重。现在如果想继续留在长沙，显然已是十分不利。特别是绿营兵围攻之后，曾国藩所统率的湘勇，日子更加难过，进出城门的遭盘查斥骂，街头的公然被侮辱，乃至拳打脚踢，都成了家常便饭。由于有提督鲍起豹的暗中支持，曾国藩也拿那帮绿营兵无能为力。此时的曾国藩已明确地感到居人之室、借人之军难以立足，必须发愤练成属于自己的一支军队才有成功的本钱。在这种情况下，尽管手下诸将憋着劲想与绿营兵好好斗一斗，也好出出胸中的恶气，可曾国藩却认为一山难容两虎，再在长沙待下去，只能与绿营兵两败俱伤，更何况朝廷对汉人统兵向有戒心，弄不好连自己的老本也赔光。与其如此，还不如暂时躲避为上。于是，曾国藩便决定“是以抽掣转移，急为衡州之行。”
早在这年六月间，曾国藩跟鲍起豹等人的矛盾初起时，就曾私下对友人郭嵩焘表示：“久虱此地，以在戚而攘臂从政，以绅士而侵职代庖，终觉非是。何日江右解围，楚省弛防，脱然还山，寸心少安耳。”表面上看，曾国藩是想以终制为名，摆脱这是非之地；并且饬今张润农所带之兵“全数驻永”，王鑫所带之勇则“驻郴”，均不回省城，为自己的退避之路作准备。但是，曾国藩不可能真正打算解甲归乡，而是想着自己几个月来“弹压匪徒”的名声大振，不可半途而废，“宵小得以窥伺，而初终恐难一律”。于是，他在绿营兵闹署事件后的第七天，即八月十三日给朝廷上了个《移驻衡州折》，第二天就匆匆离开长沙返回家乡。在乡间沉思了几天，于八月二十七日愤走衡州。在奏折中，他声称“衡、永、郴、桂尤为匪徒聚集之薮，拟驻扎衡州，就近搜捕，曾于二月十二日奏明在案”，现在移驻衡州，正是实现原有“查办土匪”的计划，而并没有把自己移驻衡州的近因和内心活动向咸丰帝奏明。
关于移师衡州，曾国藩在咸丰三年（公元1853年）九月写给署理湖广总督张亮基的信中曾经详细谈到此事，其中一部分是这样说的：“弟自今岁以来，所办之事，强半皆冒侵官越俎之嫌，只让时事孔艰，苟利于国，或益于民，即不措攘臂为之，冀以补疮痍之万一，而扶正气于将歇。练勇之举，亦非有他。只以近日官兵在乡，不无骚扰，而去岁湘勇有奸淫掳掠之事，民间倡为谣言，反谓兵勇不如贼匪之安静。国藩痛恨斯言，恐民心一去，不可挽回，誓欲练成一旅，秋毫无犯，以挽民心而塞民口。每逢三、八操演，集诸勇而教之，反复开说至千百语，但令其无扰百姓。自四月以后，问令塔将（塔齐布）传唤营兵，一同操演，亦不过令弁前来听我教语。每次与诸弁兵讲说，至一时数刻之久，虽不敢云说法点顽石之头，亦诚欲以苦口滴杜鹃之血。练者其名，训者其实；听者甚逸，讲者甚劳。今各弁固在，具有天良，可覆按而一询也。国藩之为此，盖欲感动一二，冀其不扰百姓，以雪兵勇不如贼匪之耻，而稍变武弁漫无纪律之态。迨六月初，提军（鲍起豹）到省，谓防堵不宜操兵，盛暑不宜过劳，遂切责塔将，而右护清将（德清）。而中丞（骆秉章）亦疑弟不宜干预兵事。会弟与老兄有举塔劾清之折，同时并发，而尊处又有札斥搭将何不操练。提军遂疑兄与弟并力排之，皆挟私见而非公忠也。岂其然哉！岂其然哉！嗣后兵勇相争，弟虽常持正议，而每抑勇而伸兵，自谓寸心无私，可见谅于人人。逮初六日，兵哗之变出，论者或谓是有指嗾，或谓早伏阴机，何不预为之所。君子直道而行，岂肯以机械险戏，军人相竞御哉？惟弟本以乡绅，半涉官事，全恃虚声以弹压匪徒，一有控捐，则宵小得以窥伺，而初终恐难一律，是以抽掣转移，暂驻衡州。盖因二月一奏，曾言上四属土匪极多，将来请驻衡州数月也。”
虽然说忍耐是很痛苦的事，但随之而来的果实却最香甜。现在看来，假如曾国藩当时不能忍下争强好胜的躁动之心，暂时躲到衡州练兵，而是继续留在长沙与绿营斗下去的话，不仅很难实现自己练成“曾家军”的愿望，恐怕不死于非命也就谢天谢地了。因此，后来当王闿运为了写《湘军志》，而详细阅读了有关文件之后，曾发自内心地评价说：“涤公之忍成其大功也发！”