太平军三次穴地攻城均未成功。据李秀成说：“天朝官兵，有粮无有油盐可食，官兵心庄（壮）而力不登，是以攻城未就。"11月30日，太平军乃夜撤长沙之围，西北走宁乡、益阳，主动结束了历时80天的围攻长沙之役。城上守军竟毫无知觉。次日，“将帅闻报，皆愕且惧，无敢言贺”。
12月3日，太平军进抵益阳。由于有着严明的军纪，受到当地人民焚香执花的热烈欢迎。原“欲靠洞廷（庭）湖边而到常德，欲取河南为家”，因在益阳“忽抢得民舟数千，后而改作顺流而下，过林子（临资）口而出洞廷（庭），到缶（岳）州，分水旱而下湖北”。湖北巡抚常大淳此前曾亲赴林子口，花了经月时间“沉大船载巨石，以塞湖口，归而侈然自得，以为片帆不能飞渡矣”。但太平军水路兵马到达后，“役民夫数万人去沉船，一日而通”。12月13日，太平军陆路兵马不战而得岳州。
岳州为洞庭湖通往长江的门户，是稻米、木材、油盐等重要物资的集散地，也是清军军饷停驻转运之所，但防务十分薄弱。湖北提督博勒恭武统带800名兵丁驻守城外，在太平军攻城前即已自行溃散，逃回武昌。岳州营本有额兵500余名，但已被先后调走300名赴长沙省城防堵，加上护解军饷、火药者100余名，实存兵丁仅80余人。博勒恭武与弃城而逃的岳州知府廉昌、巴陵知县胡方谷、署岳州营参将阿克东阿事后均被按律问斩。