咸丰二年（1852年）十一月，太平军自湖南北出，攻克汉阳。咸丰三年（1853年）曾国藩建立地方团练，称为湘军，分陆军、水师两种，士兵则招募湘乡一带农民为主，薪俸为一般绿营的三倍左右，全军只服从曾国藩一人。咸丰四年（1854年），总计有陆军十三营六千五百人，水师十营五千人，会集湘潭，誓师出征。初战在岳州、靖港败于太平军，接连吃败战，曾国藩几跳水自尽，在上书时，只能以「屡败屡战」自嘲。后重整军实，复占岳州、武昌，太平军势力退出湖南。咸丰八年（1858年5月），攻占九江，气势很盛；咸丰十年（1860年），曾国荃包围安庆，以「扎硬寨，打死仗」闻名。同治三年（1864年），湘军攻破天京（南京）。
太平军抵抗湘军，让湘军吃足苦头，南京城破时，曾国藩说：「今粤匪之变，蹂躏竟及十六省，沦陷至六百余城之多，而其中凶酋悍党，如李开方守冯官屯、林启容守九江、叶芸来守安庆，皆坚忍不屈。此次金陵城坡，十万余贼无一降者，至聚众自焚而不悔，实为古今罕见之剧寇」。曾国藩入南京后，搞三光政策，「……分段搜杀，三日之间毙贼共十余万人，秦淮长河，尸首如麻，……三日夜火光不息。」其实十余万人大多是老百姓，南京文士李圭道：「至官军一面，则溃败后之虏掠，或战胜后之焚杀，尤耳不忍闻，目不忍睹，其惨毒实较『贼』又有过之无不及，余不欲言，余亦不敢言也。」（李圭：《思痛记》），曾国藩的幕僚赵烈文在《能静居日记》有详细记载南京城破：「……沿街死尸十之九皆老者。其幼孩未满二三岁者亦斫戮以为戏，匍匐道上。妇女四十岁以下者一人俱无，老者无不负伤，或十余刀，数十刀……」。曾国荃杀人如麻，纵兵焚城，「雪帅」彭玉麟见状不满，先后二次（1861年安庆之围与1864年金陵之围）致函曾国藩，要求大义灭亲。曾国荃于南京抢得大量财物，曾国藩对朝廷奏称「伪宫贼馆，一炬成灰，并无所谓赋库者，然克复老巢而全无货物，实出微臣意计之外，亦为从来罕见之事」。曾国藩处死李秀成，是为杀人灭口。 湘军将帅之廉勇，军纪之严格，是其勇猛善战的重要原因，亦使湘军威震天下。由此，战乱各省纷纷赴湖南募勇招兵，蔚然成风，故有“天下无湘不成军”之说。
