他对李鸿章说：“李元度从前用兵是在众多将领的辅佐和指挥下，他独挑大梁，实在自负得愚不可及。”
李鸿章为李元度开脱说：“他也是想求胜，稳固您的祁门大营，我看还是等他回来再说。”
曾国藩无可奈何地点了点头。他的本意是，见到李元度，训斥他两句，这件事就算过去了。想不到的是，李元度丢了徽州后，根本就没回祁门大营，而是在浙江和江西交界处徘徊。只有鬼知道他在徘徊什么，曾国藩暴跳如雷，确信李元度违规违纪，声称要严厉制裁他。
李元度后来对人说：“我之所以不回祁门大营，是觉得对不起曾公，如果我是个不要脸的，早就回去了。”
这是典型的书生意气，他不知道自己现在已是湘军的一员，既然是军队，就该遵守纪律。他更不知道的是，曾国藩最重视纪律，无论是谁违反纪律，他绝不宽恕。
他决定要向中央政府弹劾李元度，所有他的幕僚都反对，反对最激烈的就是李鸿章。李鸿章对曾国藩说：“当初您创建湘军，李元度最先入您帐下，后来您出山挽狂澜，狂澜未挽，却连战连败，困苦艰难，中央政府不信任您，地方官阻碍您，在这种形势下，很多幕僚都离您而去，只有李元度一根筋地跟随您。您和李元度不是上下级关系，简直就是生死之交。军纪固然重要，但情谊更重要。”
曾国藩发表意见说：“湘军能有今天的成绩，全靠纪律。没有纪律的军队不先灭于敌手，必先毁于自己。”他举例说，“当年湘军初出茅庐时，他弟弟违反军纪都被遣散回家，因为不如此就不能保证军队的战斗力，”他又委婉地说，“现在弹劾李元度，不代表我以后不用他，这只是权宜之计。”
李鸿章相信曾国藩的话，但他有顾虑：一旦弹劾李元度，中央政府抽风将他处死，人都死了，还用个啥。所以他带领全体幕僚到曾国藩军帐中力争，不能弹劾李元度。
曾国藩是王八吃秤砣，铁了心要弹劾李元度，并让李鸿章草拟弹劾稿。李鸿章肝火大冒道：“这稿子，我写不了！”
曾国藩冷笑：“我自己来。”
李鸿章追击道：“那我只好告辞了。”
曾国藩气冲斗牛：“听君自便！”
李鸿章已骑虎难下，只能离开。他走后，曾国藩负气地对人说：“李鸿章这小子实在难与人共患难。”李鸿章也四处对人说，“曾国藩这老家伙太不近人情，冷血的腐儒。”
李元度也没想到曾国藩真对他下了手，很快，他接到中央政府的命令：革职拿问。他咒骂着抹掉额头的汗水，侥幸地说道：“幸好老子早有准备，不然真被曾公这厮给算计了。”
李元度所谓的“准备”实在是步臭棋。这部臭棋要从浙江巡抚王有龄谈起。太平军攻陷宁国后，王有龄惊慌失措，因为宁国一失，浙江就是太平军的下一个目标。王有龄急匆匆派人去祁门请曾国藩出兵帮助，当时曾国藩也是泥菩萨过江自身难保，可还是兴冲冲地答应了王有龄的请求，理由很简单，浙江是财源重地，王有龄特别有钱。让曾国藩大失所望的是，王有龄只谈援助不谈钱，曾国藩暗示、明示了多次，王有龄支支吾吾，说等援兵来了再说。
这种扯皮的事，曾国藩见多了，于是一怒之下取消了援浙计划。王有龄大怒，但对曾国藩却无计可施。此时李元度兵败，王有龄像是发现了金矿，积极拉拢李元度。李元度也不拒不迎，不久后又发生了曾国藩弹劾李元度事件，王有龄和李元度一拍即合。王有龄答应李元度，只要你归顺我，我就保你前程。他果然说到做到，中央政府的命令才到，王有龄就向中央政府提出保举李元度为浙江地方官。
王有龄的分量十足，因为浙江财源是支撑中央政府在南方用兵太平军的保障，所以很快李元度非但无罪，还被授予了个不错的浙江地方官。曾国藩震怒。
他震怒，不是因为李元度投靠王有龄，而是王有龄挖走李元度。湘军本来自成体系，政府人进不来，湘军也不允许出去。如果李元度真的安枕无忧地当他的浙江地方官，那就是对湘军体系挑战的成功，曾国藩就是再跳一次江，也绝不允许这种事发生。
他二度弹劾李元度，字里行间有要挟中央政府的意思：如果你们不处置李元度，湘军内部纪律将松散，我如何带兵，太平军如何被消灭？
中央政府审时度势了多日，做出决定：将李元度发配边疆充军。
曾国藩赢了，直到曾国藩暮年，在众多好友的劝说下，曾国藩才向中央政府请求起用李元度。很多人都说，曾国藩在这件事上太不近人情，但曾国藩自有算计：湘军是我曾国藩的，湘军的人，生是我的人，死是我的鬼，绝不能改换门户，这是铁的纪律，也是血的纪律。
困祁门
铁血纪律似乎在1860年时解决不了曾国藩的困境。当李元度蹒跚于遥远的边疆路上时，曾国藩在祁门连半步都进退不得。本年12月初，太平军李秀成兵团攻占离祁门只有几十里的黟县。这支兵团的宣传队朝着曾国藩的祁门大营敲锣打鼓，看架势随时要发动决战似的进攻。
曾国藩满腹惆怅，对他的将领们说，“如果李秀成来攻，就让他来，我绝不逃跑。”他的将领们站在屈指可数的士兵前面训话，誓死保卫曾大帅。幸运的是，李秀成好像意不在祁门，或者说，当时太平军已把祁门包围的水泄不通，李秀成并不着急。
不怕贼偷，就怕贼惦记着。太平军越是不来攻，曾国藩就越是惊恐难耐。在祁门之外，太平军左冲右突，上演着一幕幕胜利大戏，曾国藩成了个悲伤的看客。他给家人写信，绝望透顶地说：“最近半个月，奇险万状，风波迭起，外面的情报送不进来，里面的命令出不去，我感觉到世界把我们抛弃了。”
世界把祁门变成了一个人心涣散、悲观的地狱。有位幕僚逢人便问：“死在一起如何？”
各种各样的幕僚、中下级军官们纷纷逃亡，军中一片肃杀景象。
曾国藩只好死马当活马医，试图用诚意挽救祁门世界。他下令：“有想要暂时离开的，支付三月薪水；太平无事后，仍可来营，吾不介意。”
这招的确起了点效果，那些有血性的军官们听后，热血沸腾，反而视死如归，再也不说走的事了。而幕僚们却对此嗤之以鼻，脸皮厚的真就去领了三个月薪水，和曾国藩招呼也不打一个，抱起儒书就走。
幕僚们走得越来越多，曾国藩咬牙切齿，每天都在纸上画狼，狼的眼睛是白色的。
除了悲伤的军情每天都来之外，曾国藩还能收到离开他幕僚的名字。
每当有人告诉他，某某走了，他就咬牙一回。突然一天，有人来告诉他：“王辏г讼壬谷幻挥凶撸 �
曾国藩“嘶”了一声：“他竟然没走？”
王辏г耍晌酱竺ΧΑＫ罄醋戳宋琶煜碌摹断婢尽罚茄芯肯婢畋蟮氖妨现弧４巳松贸さ弁跹В降弁跹В褪钦腋銮绷桑阉嘌傻弁醯耐保约阂材艹晌弁跏ΑＫ�1860年进曾国藩幕府时，极受曾国藩的器重。可后来，曾国藩发现这小子是个大嘴巴，什么都敢说，于是刻意疏远他。
王辏г艘沧⒁獾搅嗽鹊谋浠谡庵质焙颍钣Ω米叩木褪撬�
曾国藩大为惊奇，还有点小感动。
他命令仆人：“你去看看王先生在干什么？”
仆人很快就回来了，告诉曾国藩：“王先生在读《尚书》。”
曾国藩问：“他的跟班呢？”
仆人摸了摸头，“没有见到。”
曾国藩笑了：“王先生肯定要走。”
仆人莫名其妙。
曾国藩道：“王先生对《尚书》能倒背如流，在这种危急时刻竟然还看，显然是拿着书装样子，其实在思考走的问题。他的仆人和他形影不离，如今却不见踪影，可见是去收拾东西了。”
第二天，王辏г斯涣炝巳鲈滦剿又藏病�
谁都可以走，只有他曾国藩不能走。不能走，就意味着眼睁睁地面对困局。所以他的心情越来越糟。1860年最后一个月，他甚至写好遗嘱。遗嘱中有这样一句话，让人读来凄凉：自来祁门后，实无生人之乐趣。然后就是一番深刻的自我剖析。
他说，“我这人天资本一般，全靠个人努力才混到今天，但无论是理学思想还是作文，都是半吊子。尤其是带兵，带兵根本不是我所长，兵贵奇而我太平，兵贵诈而我太直，能有今天看上去的胜利，全靠侥幸，非我真本领。不过，我这人这也不行，那也不行，有一样却是行的，那就是识人用人。你们不信可看我的部下，哪一个不是独当一面的真英雄？！”
他接着对家人说，“识人用人是天赋，你们大概学不来。请记得我的话，将来曾家人万不可带兵，至于做官，也大可不必。官场如战场，不是那么好玩的。”
字里行间透露着平淡的心态，其实，曾国藩当时内心已波涛汹涌。读历史，值得注意的一点是，记下来的文字大都不可信。任何伟大人物看似在危难关头泰然自若，其实他们也是凡人，也有恐惧，只不过有人用文字掩饰过去了。曾国藩在祁门大营正如他所说，毫无生人乐趣。但他有一点是值得我们学习的，那就是，临危虽然惧，却不后退，不当逃兵。除了他性格因素外，儒家理学的气节情怀铸造了他这种死都不肯退缩的第二性格，这是英雄人物必备的性格之一。或许正应了那句话，天佑英雄，曾国藩的运气稍有好转。外围的左宗棠突袭景德镇，大获成功。景德镇是通往祁门的必经之路，也是最容易进入的道路，控制了它，祁门大营转危为安了。
湘军将士们欢欣鼓舞，曾国藩也露出仿佛消失了几百年的笑容，但仍有件憾事袭上他的心头，搅扰得他不得安宁。这就是在此之前发生的北上勤王事件。