道光二十三年（1843年）7月，钦命为四川乡试正考官。8月，补授翰林院侍讲。12月，充文渊阁校理。
道光二十四年（1844年），转侍读。
道光二十五年（1845年）3月，任会试同考官。5月，升詹事府右春坊右庶子。9月，转左庶子，不久升侍讲学士。12月，充日讲起居注官。
道光二十六年（1846年），充文渊阁直阁事。
道光二十七年（1847年），大考二等，6月，升任内阁学士加礼部侍郎衔。
道光二十八年（1848年），稽察中书科事务。
道光二十九年（1849年）正月，授礼部右侍郎。8月，署兵部左侍郎。次年6月，署工部左侍郎。在京十多年间，曾国藩就是这样坚韧不拔地沿着这条仕途之道，步步升迁到二品官位。十年七迁，连跃十级。
组建湘军
咸丰元年（1851年）1月，洪秀全在广西桂平金田村组织起事。咸丰帝诏群臣言得失，曾国藩进言“今日急务，首在用人”，又推荐李棠阶、吴廷栋、王庆云、严正基、江忠源五人，再上书《敬陈圣德三端预防流弊疏》直指咸丰帝的过失，咸丰帝“怒掷其折于地”，数日后复阅，才心服而纳谏，并对其加以褒答。5月，署刑部右侍郎。10月，充顺天武乡试正考官。
咸丰二年（1852年）正月，署吏部左侍郎。6月，充江西乡试正考官，途中因母丧归家。这时太平天国运动已席卷半个中国，尽管清政府从全国各地调集大量八旗军、绿营官兵来对付太平军，可是这支腐朽的武装已不堪一战。因此，清政府屡次颁发奖励团练的命令，力图利用各地的地主武装来遏制太平军势力的发展，这就为曾国藩的湘军的出现，提供了一个机会。11月，清政府命令曾国藩和湖南巡抚张亮基办理团练。
咸丰三年（1853年），借着清政府急于寻求力量镇压太平天国的时机，他因势在其家乡湖南一带，依靠师徒、亲戚、好友等复杂的人际关系，建立了一支地方团练，称为湘勇，并清廷上书征用了还只是都司的塔齐布。八月，曾国藩获准在衡州练兵，“凡枪炮刀锚之模式，帆樯桨橹之位置，无不躬自演试，殚竭思力”，并派人赴广东购买西洋火炮，筹建水师。
在团练湘勇期间，他严肃军纪，开辟新的军队，他先后将5000人的湘勇分为塔、罗、王、李等十营，并将团练地点由长沙迁至湘潭，避免与长沙的绿营发生直接矛盾。
镇压天国
咸丰四年（1854年）2月，湘军倾巢出动，曾国藩发表了《讨粤匪檄》。在这篇檄文里，他声称太平天国运动是“荼毒生灵”，“举中国数千年礼义人伦诗书典则，一旦扫地荡尽。此岂独我大清之奇变，乃开辟以来名教之奇变，我孔子、孟子之所痛哭于九泉”，接着号召“凡读书识字者，又乌可袖手安坐，不思一为之所也”，其站在了道德的制高点，故动员了当时广大的知识分子参与到对太平军的斗争当中，为日后的胜利打下了坚实的基础。
曾国藩命褚汝航为水军统领，塔齐布为陆军咸丰，率大小船舰240艘，水陆大军17000人，挥师东下。3月，岳州战事不利。4月，在靖港水战中又被太平军石祥贞部击败，曾国藩愤而投水自尽，幸被幕僚章寿麟所救。因战事不利，曾国藩得旨革职。