衡州练勇
经过在长沙受挫以后，曾国藩也变得谦和了许多。人有时候就是这样，只有错了以后才知道什么是对，曾国藩也不例外。离开长沙的时候，曾国藩也带走了自己在长沙招募的1000团勇，而今，一千多人的大部队突然来到衡州，曾国藩不得不先考虑一下地方官的感受。于是咸丰三年八月，刚到衡州，曾国藩就去拜访了衡州知府陆传应。这次曾国藩吸取了在长沙的教训（看来曾国藩确实是一个知错就改的人），并没有因为陆传应比自己级别低五级而显示出多少优越感，而是和他称兄道弟，同时还虚心向他询问了许多事情。
既然曾国藩都伸出了友谊之手，陆传应也不能不识抬举，很快两只大手握到了一起，二人也很快成了好朋友。
于是曾国藩很快就得到了陆传应的支持，陆知府慷慨地借了10万两白银给湘军做军饷，而且他还把衡州西门外的练武场借给曾国藩用来演练团勇。
这个演武场位于衡州西门外的蒸水滨，是当年吴三桂在衡州称帝时开辟的，实际上是一处大祠堂，由于场面很大，后来被人们改成了阅兵台。而曾国藩从长沙带来的一千多名团勇也正好安驻于此。
初到衡州的曾国藩多少也得到了一些安慰。那么曾国藩为什么选择退兵到衡州呢？原来，最初衡州曾是曾国藩的祖籍，而曾国藩的老婆欧阳氏就是衡州人，曾国藩在衡州的亲友还是不少的。与长沙相比，在这里他更容易得到亲友的支持，因此曾国藩选择了衡州。
而在长沙所受的窝囊气，曾国藩实在难以下咽，本来他是打算到了衡州以后，弹劾湖南巡抚和提督的，可是，经过再三思量还是觉得“好汉打脱牙和血吞”，谁让自己有错在先呢？再说，自己本来就越权了，要是皇上怪罪下来，很可能搬石头砸自己的脚。
经过在长沙的那些事后，曾国藩更明确了自己的职责。于是他分别写信给自己在各地的好友前来衡州同自己一起操练团勇。
就在此时，曾国藩收到学生江忠源的来信说，皇帝让各地的大臣办团练只是为了辅助正规军共同抵抗太平军，不是让他们练成正规军队，否则就是越格，而各地的团练一般也就几百人，像湘军这样有一千多人的团练还是比较少见的。同时，江忠源告诉他，湘军的出路就是正面跟太平军对抗。
于是曾国藩让江忠源代他请求皇上允许他在衡州招募团勇，并自成军队，归他自己统率。
而事实上，曾国藩甚至都没等皇上批准，就再一次开始大张旗鼓地在衡州招募团勇了。
首先是李元度应邀到来，同时他还带来了500名新募的平江勇。郭嵩焘还带来了募得的湘阴军饷20万两。然后，刘蓉、陈士杰也陆续来到衡州准备同曾国藩一起共谋大业。
不久之后，曾国藩在衡阳也招募了大量的团勇，现在所有的团勇加起来已经有5000人了，于是曾国藩就把他们分为10个营，分开训练。
而此时，江忠源来信说，自己现在奉皇命任湖北按察使，前往江西镇压太平军，希望曾国藩能够赶快练就一支能够与太平军作战的军队前往江西支援。
接到信后曾国藩大喜，心想自从出山帮办团勇以来也有好几个月了，这些团勇究竟练到什么地步了，他们的战斗力又如何，正好可以通过这个机会检验一下。
于是，咸丰三年（1853年）夏天，当太平军西征进攻南昌时，曾国藩就派罗泽南、朱孙诒、金松龄率领3000余人前去支援江忠源。
不久，有消息传来，大军初战告捷。而后又有消息传来说，罗泽南一营冲锋在前，中了敌人的埋伏，死伤几十人，后随湘勇竟然见死不救，而且临阵逃脱。接到消息后曾国藩又喜又悲，喜的是团练部队多少还能杀几个太平军，没有辜负自己这么长时间以来的训练；悲的是，虽然团勇的战斗力有一定的提高，但是，团勇彼此之间并没有形成并肩作战，而是各自为营，每个人都只为自己的生死考虑而不顾同伴的安危。
想到此，曾国藩不免一声长叹：人性本自私呀！经自己训练的团勇也并没有比别处的团勇有什么过人之处呀，看来就操练团勇方面自己还需要进行一番深刻的反省。
衡州思过
经过江西的这场战事以后，曾国藩认识到，在抵抗太平军的战争中，不仅大清八旗军不行、绿营军不行，就连自己辛辛苦苦操练的团练也不行，问题究竟出在哪儿？
曾国藩开始深刻地思考如何才能练就一支高素质的军队这一问题。八旗军、绿营军是不行的，因为他们不仅骄纵腐败，而且根本没有战斗力可言，在太平军面前他们根本就不堪一击。曾国藩认为，要想练就一支劲旅，首先就要杜绝这些军队的腐败之风，提高每一个士兵的作战能力。其次就是，要总结太平天国的军队之所以无坚不摧的原因。他们不仅纪律严明，更主要的是，他们有统一的指导思想，而且兵勇之间相互称兄道弟，彼此照应，因而他们内部有很强的团结性。所以，一支高素质的军队，就要士兵之间彼此同呼吸共命运，一方有难八方支援，只有这样才能避免孤军作战，才能避免武昌之战中的失误。
此时的曾国藩虽然总结了一些作战经验，但是至于到底怎样练就一支劲旅，他心里也并不清楚，就像一个走夜路的人，没有光只能一路摸索着前行。
虽然曾国藩的队伍从长沙迁至衡州，还没有跟太平军独立地打过一场仗，但是他们也并没有闲着。曾国藩自己很清楚，练团勇，需要自己招募军饷，而这些军饷一般都是各地的乡绅地主捐的，而他们捐钱的目的就是，希望团练部队能够保地方的平安。所以在没有跟太平军正面较量之前，曾国藩的团勇就充当起了地方保安团的角色。
或许权力真的是一个放大镜，它不仅能够放大一个人的脾气，更能放大一个人的杀伤力或是创造力。
从很多史料分析中，我们都能发现曾国藩是一个严于律己的人，而一个人一旦拥有了领导别人的权力以后，他往往就把这种律己的精神扩大，因为他会觉得归自己领导的人从大环境中来说更接近自我。因此，曾国藩在镇压湖南各地的农民和土匪作乱方面，再次显示出了他心狠手辣的真面目，就像不能容忍自己犯错一样，他对于那些犯事的农民和土匪一律格杀勿论，绝不手软。然而，在一次又一次的镇压农民、土匪作乱和偶遇太平军的作战过程中，曾国藩又地渐渐总结了不少了经验并吸取了不少失败的教训，一个更完善的军队管理制度，在曾国藩的头脑中渐渐地清晰了起来。
改革军制
自从曾国藩插手绿营一事以后，曾国藩深刻地认识到，虽然八旗、绿营已经腐败成一堆糊不上墙的烂泥，需要一番大刀阔斧的改革，但是，这些都是国家正规军，自己是没有权力插手的，因此曾国藩对八旗和绿营军彻底失望了。
再看看自己现在搞的团练。虽然其中也有不少骁勇善战的士兵，但是他们真的能经受得住前线残酷战争的考验吗？
他们大多是无家可归的流浪汉，都是出于混口饭吃的目的来做团勇的，如果真的到了战场上，真的要拼命，对于这些吃口饭就满足的人来说，他们真的会为了镇压太平军而不顾自己的性命吗？显然不会，毕竟他们不是真正的军人，他们没有坚定的信念，他们首先要考虑的就是保命要紧。
那么，究竟练成什么样才算符合要求的部队呢？曾国藩的心中渐渐有了这样一支队伍的雏形。虽然名为团练大臣，但是对于一般的小型的团练，曾国藩渐渐地失去了兴趣。他既没有执行清政府的命令，也没有再继续盲目地仿效别人办团练，而是根据当时清政府迫切的需要，（虽然这种需要只是曾国藩单方面的观点）打着团练的旗号，开始练军。
看来曾国藩还是比较有眼光的，而他的这种卓越的军事眼光也恰恰为他在军事上的崛起奠定了基础。他心里非常清楚，现在的清政府已经没有一支真正能够抵抗太平军的队伍了。
对于一个国家来说，一旦丧失了自己的防御能力，那么自己的政权也就岌岌可危了。在这种情况下，清政府要做的也只能是起用任何一支能够维护自身安全的军队，于是，曾国藩就不顾大清法律，毅然决定练就一支属于自己的军队——湘军。
首先在招募新人方面，曾国藩作了很大的变动。
一改常规，新招募的湘军，只要身体强壮而又敦厚老实的山乡农民。因为这些人一般都比较踏实，又容易管理，那些游兵散勇以及一些油嘴滑舌的市井混混一律不要，因为这些人不仅难以管理，而且容易在军中挑起事端。
在选拔军中带兵之人的时候，也选那些能吃苦、不怕死、不势利、有管理才能的人。
曾国藩选拔军官的首要标准就是：“有忠义血性。”抛开其他的素质不论，如果一个军官不忠诚，那么他的势力越大、官衔越高，他也就越可怕。因为，一个不忠诚的人，很容易就可以从自己的下属或是朋友而变成自己的敌人。
看来之前的各种经历真是让曾国藩受益匪浅，他正从一个文人一点点蜕变成一个治军有方的将领。
其次在军制改革方面，曾国藩吸取了绿营军腐败的教训。晚清时期，绿营军采取的是世袭制，也就是说，老子要是绿营军的话，等老子退休了，儿子就可以接老爸的班，继续做绿营军，继续捧着金饭碗吃皇粮，让国家养着。曾国藩认为正是因为这种安逸的生活方式助长了绿营军的腐败之风，所以，曾国藩要彻底废除世袭制，改为招募制。也就是说，军队的人员都要通过招募，而且可以随形势的需要扩招或是裁员。此外，曾国藩认为要练就一支高素质的军队，最重要的就是改过去的“兵为国有”而为“兵为将有”。很明显曾国藩是说，我练的部队就应该归我所有，要是国家有需要，我可以带领我的军队为国家效力。很明显这是一种军阀制度，是一种公然向大清政权要兵权的行为。但是对于当时的清政府来说，早已经没有多少可用之兵了，要是曾国藩能够练就一支能够与太平军一决高下的军队来，那也不失为良策。但是一旦曾国藩的军队威胁到了大清政权，咸丰帝还是会掂量一下的。
于是咸丰帝在得知曾国藩的做法以后，也对曾国藩的为人作了深入的调查。据说，当时咸丰帝曾命他最信任的大臣肃顺暗地里在曾国藩的部队中安置了很多的眼线，来监视曾国藩的举动。
其实，清政府对曾国藩的猜疑一直都没有消除，直到曾国藩去世。闲话少说，言归正传。在吸取了武昌战役的教训以后，曾国藩在练新军的时候，特别注重了军队内部的团结。
对于任何一个团队来说，队员之间的团结是非常重要的，如果每一个队员都能从团队合作的角度来为全局着想，那么队员的整体力量就能远远地超出单纯的个体力量的总和；相反，如果队员之间矛盾重重，那么团队总体的力量可能还不如个体的力量大。
因为方向不同的力量一般会彼此抵消，只有方向一致的力量才能体现出团结的力量。因此曾国藩就在军队内部的团结方面下了不少工夫。
首先，他强调的是加强各级军官的权力，下级要绝对服从上级，士兵要绝对服从军官，强调军人的天职就是服从命令。
当然只有服从命令的手下才叫手下，不服从命令的可能就是敌人。对于一个军队来说，只有人人都愿意服从命令，那么一个军队的执行力和战斗力才能得到保障。
其次，曾国藩强调，在军队里，人与人之间要荣辱与共，不离不弃。为了实现这个目标，曾国藩想出了一个巧妙的方法。
招募士兵主要是从一个地区来招。因为，大家都是老乡，不仅沟通起来比较方便，更重要的是，不同地区间的士兵可能在生活习惯上有很多的不同，这样就很容易造成同一地区的人团结，而不同地区的小团体间矛盾重重。
另外，来自同一地区的人，彼此之间一般都存在着千丝万缕的关系，可能张三的妈妈的二舅的大女儿嫁给了李四的三叔的二小子，而李四的三叔的二小子又是王五的老爸的学生，这样一来，军队中人与人之间多多少少的都有那么一点勾挂着的关系。
那么，在这些人之中统一思想、搞团结就简单多了。曾国藩的这种通过同乡、亲友、师生关系来维系军队之中人与人团结的做法，在我们现在看来多少有点局限性，而且不利于军队的扩大，但是根据当时的实际情况来看，曾国藩的这种做法还是有一定的优越性的。
毕竟在当时社会里，人们还是把亲情和师生情谊看得比较重的，从当时比较时髦的“一日为师，终身为父”的说法当中，我们不难看出，当时的人在感情方面还是比较淳朴的。
加之，曾国藩要操练自己的军队，国家是不给军饷的，招募那么多的士兵，到时候僧多粥少也是个麻烦事。毕竟，谁都不愿饿着肚子打仗，更何况人不为己天诛地灭，谁不知道抢了馒头往自己嘴里塞呢？
因此曾国藩当时的练军策略还是比较实用的。现在，练军的指导思想有了，接下来曾国藩要做的就是创办湘军。