皇上在遥远的北京怜悯他，解决不了他眼前的麻烦。麻烦来自王錱，王錱向他发出了挑战。王錱是湘军的元老级人物，开始和曾国藩合作时很融洽，王錱才能出众，雄心勃勃。曾国藩当初在长沙时见人就夸王錱志大才高，前途无量。
王錱虽然雄心勃勃，但胸有主张，他是理学家罗泽南的弟子，深深懂得规矩的道理。他本来和曾国藩的关系不错，可自到衡州后，关系渐渐恶化。曾国藩来衡州是打着为江忠源练兵的旗号，但很快王錱就发现，曾国藩是在为自己练兵，他要建一支曾家军。
咸丰第一次催曾国藩增援湖北时，王錱就鼓动曾国藩出兵，曾国藩死都不出。太平军很快攻占汉口、汉阳，长沙人心浮动。湖南巡抚骆秉章也写信给曾国藩，要他来长沙协防。曾国藩理都不理，王錱拍案而起，带着他的那一营五百人从衡州奔回长沙。一到长沙，王錱就大肆招募士兵，将他的一营扩充到三千人。
骆秉章对此大力支持，因为长沙兵力不足，又指望不上曾国藩。曾国藩却很不高兴，因为王錱招募士兵的事并未向他汇报。但他隐忍不发，不久后，在新任湖广总督吴文镕的左右周旋下，太平军退屯黄州，长沙局势缓和下来。曾国藩马上去信责备王錱，“你名义上算是从前大团的人，在衡州咱们也建立了上下级关系。你在长沙招募士兵，却不向我报告，是何道理？我现在郑重告诫你，我在湘军里给你留了三个营的空额，你迅速带你的人回来。”
王錱气得怪叫：“三个营就才一千五百人，你这是要我裁撤一半兵力啊。我回去你个鬼啊。”
曾国藩见王錱毫无动静，又去信说，“你的士兵必须减员，选出三个营长来，不必你指挥，指挥权由组织决定。另外，你速来衡州参加会操，开出一份名单，把不肯来的人写上，以后我不会要他们了。”
王錱继续生气，且拒绝回信曾国藩。曾国藩矢志不移，意志顽强地给王錱写信。1854年2月，彻底搞定咸丰的催促后，曾国藩决定和王錱摊牌：“咱们奉朝廷之命，兴君子之师，章程必须划一，怎可参差错乱，各立山头。你如果要立山头，别打着湘军的旗号。”这封信仍未得到回音，曾国藩怒了，派出四名将领去接替王錱的四个营军官职务，同时命令王錱只统帅一营。
王錱这回不生气了，反而对曾国藩的一厢情愿大笑不已。曾国藩看着狼狈而回的被派去的四名军官，恼羞成怒地给骆秉章写信，夹枪带棒地说：“王錱这厮反了，背后肯定有人撑腰。我把话放这里，您如果同意他归我督带，就必须受我节制。倘若他不想受我节制，您又命令不了他，那我在此宣布，湘军从前不曾，现在不曾，将来也不会有王錱这个人！”
就这样，湘军的祖师爷之一王錱被曾国藩逐了出去，曾国藩通过驱逐王錱，再次稳固了他的领导地位。
曾国藩见死不救：江忠源之死
和王錱是明争，和江忠源则是暗斗。江忠源是自太平军造反以来，战场上最清醒最干练的将军，受到清政府一个接一个的大奖，所以曾国藩当初才打起为江忠源练兵的旗号跑到衡州。
也许不仅是为了迷惑清政府和江忠源，曾国藩当时真就发自良知。他信誓旦旦地向江忠源保证，我去衡州练兵就是为了给你作为“扫荡天下之具”的。江忠源至为感动，对曾国藩表露心迹：我江忠源能光耀门庭，就全靠兄弟你了。
很快，江忠源就在现实中发现曾国藩靠不住。1853年秋，江忠源在江西九江一带抵抗太平军，他的楚勇兵力不足，所以去信曾国藩问，有没有新出炉的士兵，赶紧搞点来给我用。
曾国藩连咸丰的圣旨都敢不遵，区区个江忠源算个啥。他回信给江忠源，士兵还是半成品，不能立即出炉，你少安勿躁。江忠源并未生气，因为他知道曾国藩做事很慢，所以就调了云贵、湖广的绿营兵六千，与自己的楚勇合成一万，艰难抵抗太平军。
曾国藩得知江忠源调集绿营兵后，去信揶揄道：“绿营兵纪律败坏，怎么能打仗，您要三思啊。”
江忠源夹枪带棒地回信道：“我倒是想用你的兵，可你太慢了。”
曾国藩发现了江忠源的不满，慌忙回信道：“你不要着急，我已训练出三千士兵，再训练六千，就双手呈送阁下做建功立业的工具。”
江忠源突然发现曾国藩在和他玩太极，由于前线吃紧，所以没空和曾国藩纠结。但曾国藩却对他穷追猛打起来，曾国藩对湖南巡抚骆秉章与新任湖广总督吴文镕说，江忠源的楚勇成事不足败事有余，我听说他们常常骚扰百姓，进驻一地后的头等事就是抢劫。政府正规军不可用，楚勇也欠精练。
吴文镕是曾国藩举荐上来的，同时还是曾国藩的师长，所以自然不自然地就偏袒曾国藩。骆秉章对曾国藩虽成见渐小，却站在公理之上，对曾国藩冷嘲热讽：“正规军不成，楚勇欠精练，我听你的意思只有你的湘军才是天下唯一的精兵。但我怎么就没看你们湘军有一人在战场上？”
曾国藩险些被问了个跟头，回信骆秉章：“羽毛不丰不能飞。”
骆秉章只回了一行字：“你不飞，就闭嘴。”
江忠源对曾国藩的风凉话极为在意。他认真给曾国藩回了封信，一针见血地解释道：“‘勇’是否可用，关键在带勇之人，和‘勇’本身无关。好人带坏‘勇’，也能把”勇“带好；坏人带好‘勇’，也能把勇带坏。你总说你的湘军这样好那样好，到现在我也未亲眼见到，先假设你的湘军是好的吧。可你是否想过，现在是好的，将来解散后还一定能好吗？”
曾国藩根本没考虑那么远，他在全心全意处理眼前的问题、脚下的问题。江忠源的一番话让他更加坚定了这样的信念：他不会把一兵一卒交给任何人，包括江忠源。1853年冬天，曾国藩写信给骆秉章说：“我正在夜以继日地筹备水军，等船炮齐备后，我愿意带着我的湘军跟随您左右。”
骆秉章惊叫：“曾国藩这是要自己指挥湘军啊。”
半个月后，太平军攻陷黄州，咸丰催曾国藩出师，曾国藩死都不肯，江忠源催他赶紧来，他一字不回，但却给吴文镕去信嘘寒问暖：“这次贼有多少人？需要援助吗？我带领湘军去如何？您好好斟酌，速回我信。”
江忠源得知此事后，气得一跳三丈高：“曾国藩这畜牲，这是想抛弃我依附吴文镕啊。”
曾国藩得知江忠源的反应后，马上去信安抚：“兄弟最近如何，我正准备东下，配合吴文镕总督的‘四省合防’计划，另外也为阁下澄清天下之用，我已做好三年不归之想。”
江忠源接到信后，“呸”地吐到信上，火气上涌道：“曾国藩这厮，拿吴文镕压我，还要亲自领兵，给我练兵言犹在耳，打着我的旗号，拉自己山头，真是卑鄙！”
江忠源不会想到，与下面即将发生的事相比，曾国藩这封信的想法实在太高尚了。1853年11月中旬，太平军攻取安徽桐城，兵锋再指舒城，安徽北部危急。清政府急忙调江忠源去安徽北部支撑危局。
江忠源忠贞可鉴，连夜从湖北汉口急行军往安徽庐州。抵达六安时，突然生病，并且日益沉重。12月中旬，稍有好转，于是亲率二千楚勇进抵庐州。他才到一天，太平军就把庐州合围，开始了猛烈进攻。咸丰下令曾国藩驰援，曾国藩按兵不动。他的军官夏廷樾实在看不下去了，就请求他率师东下，解救江忠源之急。
曾国藩板起脸，一本正经地说：“目前我托购的洋炮还未到来，水师不能成军，绝不能出战。即使我能出师，也要先收复黄州、九江等处。大局所在，顾不得兄弟情谊，一想到这里，我不禁泪流满面。”
1854年1月中旬，江忠源在内无粮草外无援兵的情况下兵败被杀。曾国藩得到消息后，号啕大哭，他对人说：“我这个人最有自知之明，我不善带兵，完全寄希望于江忠源兄弟，想不到他未等我练兵完毕，就离开人世。我练了这么多兵，造了这么多军舰，有什么用啊！”
他哭得越伤心，站在他身边的军官们就越觉得他虚伪。几个曾和江忠源并肩战斗的军官带着自己的士兵趁夜离开他，投奔骆秉章去了。曾国藩又是一阵伤心，还未等憔悴的心平复，马上流言来攻。湖南大批官僚和士绅毫不留情地攻击他，对江忠源见死不救，连畜牲都干不出来的事，竟然被他曾国藩干了。
曾国藩把脸憋得铁青，如死尸一样静坐不动，静坐了很久很久，才掏出日记写道：“荆轲之心化为贯穿天宇的彩虹，但见到者却将它视为不正的色彩而鄙薄；苌弘之血化为碧玉，而赏玉的人将他视为破石而丢弃（虹贯荆卿之心，见者以为淫氛而薄之；碧化苌弘之血，览者以为顽石而弃之）。”
荆轲是战国时期燕国聘请的去刺杀秦始皇的刺客，被杀后化为彩虹；苌弘是春秋时期周王朝的高级官员，被冤而死，流的血三年后化为碧玉。
曾国藩其实是想说，你们这群人都冤枉了我，我不是畜牲。我只是不打没把握的仗，炮舰不齐，哪怕只缺少一门炮的情况下，我都不会出省作战。这就是我，一个脚踏实地，不见兔子不撒鹰，不做好准备不出马的曾国藩。
也许湖南的官员和士绅们真的误会了曾国藩，他是真的抱定“炮舰不齐不出省”的决心，所以他不但对兄弟江忠源见死不救，对自己的师长吴文镕同样如此。
吴文镕在太平军猛烈围攻时，曾一天发数道求救信给曾国藩。曾国藩看着信直哭，据说他当时真想出战，他和吴文镕的关系非同一般，多年的师生情谊，还有个现实问题，吴文镕一旦出问题，那在湖广地区，就没有人替他说话了。
可他咬牙忍住了冲动，去信给吴文镕，说明了自己不能出战的原因：炮舰未齐，出战就等于送死。又声泪俱下地