湘军的编制与八旗兵、绿营兵不同，是曾国藩效仿明代戚继光所编练的戚家军进行编制的。湘军以营为基本战斗单位，设营官一人，掌管五百兵勇；营下设四哨，哨下设八队。对官兵的选拔采取层层选拔的办法，即大帅挑选统领，统领挑选营官，营官挑选哨弁。从而逐级加以节制，全军由曾国藩一人节制。在将士的选择上，将官多以士绅与儒生为主，而且主要将领间大多是同乡、同学、师生、亲友关系；士兵以年轻力壮、朴实的农民为主。
同时，曾国藩又对士兵进行了严格的训练。其中，训主要是进行封建伦理和纪律教育，练则指练队伍和练技艺。这样一来，曾国藩便利用封建宗法关系作为维系湘军的纽带，组成了一支强壮的私人武装，成了太平军的死敌。然而，此时由于曾国藩杀人过多也开始被人称为“曾剃刀”、“曾屠户”。
2.儒学把军队建成第二家庭
“其于兵事，素未梦见。”就像是后来蔡锷所说的一样。曾国藩是一个对于军事所知不甚多的文人，一个手无缚鸡之力的白面书生。他是如何组建湘军，使得原本属于地方节制的小武装势力，在极短的时间内成长为维护岌岌可危的清朝统治的军事力量，而最终达到了他镇压太平天国农民运动的目的呢？
这确实是令人们感到有些奇怪和有趣的事情。特别是在如今，竞争日益激烈，需要组建优秀高效的团队去获取成功的市场经济时代，曾国藩成功后的历史现象更为一些企事业单位的领导者、管理者所关注。