曾国藩接咨，回曰：润芝多虑，安庆之围，绝不可撤。曾国荃、多隆阿、杨载福、韦俊等围城打援，已近年余，城垣弹指或破，岂可前功尽弃！陈贼玉成，野战尚可；武昌城高墙厚，陈贼攻坚甚难。李匪世贤自休宁、徽州围攻祁门不成，已自皖南入赣，攻战婺源；复斩我大将陈明南，大败王开琳部；吾若渡江，左宗棠自成孤注，皖南必失！

赵烈文道：启禀涤帅，陈狗玉成的确悍勇，大江南北，唇齿相依，或可先北后南。

曾国藩道：武昌城高，胡润芝多虑。李匪世贤十万悍军麇集婺源，不特祁门之粮路接济已断，即景德亦无粮路，余等与左公俱在围困之中，祁、休等处军心方欲动摇，此时北渡，吾必分崩离析；待武昌事定，须求北岸分兵一助南岸耳。

国藩言语间，探子急报：李匪世贤阵斩皖南镇总兵陈大富，攻占景德镇。左宗棠难扼其锋，败退乐平。李匪世贤率军四万，直奔祁门而来。

曾国藩惊悸，急道：左季高如何？伤否？

探子道：左宗棠无恙，现被李尚扬逆匪困围乐平。

曾国藩道：速传吾令，鲍超霆军，停追李秀成匪部，火速回援乐平；此令十万火急。

景德镇失，粮道被阻，曾国藩强作镇定，速召众将，曰：黄匪文金、刘匪官芳、古匪隆贤等，皆被打垮；李匪世贤，虽攻占景德，然已是强弩之末。吾令，祁门、黟县各军，速聚休宁，围攻徽州；徽州得，即可断李匪后路，届时，会合左宗棠、鲍超二部，两面夹击，彻歼李匪。

1861年4月13日，曾国藩亲临休宁，指挥攻击徽州事宜。

9000湘军，兵分两路，西路以副将唐义训为主，副将沈宝成、同知朱声隆辅之；北路以开归道张运兰为主，副将娄云生、参将杨镇魁、张应超辅之；两路大军，东西呼应，二攻徽州，均无进展。忽有倾盆暴雨，连注一日，徽城守军乘机反击，湘勇无备，四散而去。

李世贤再接再厉，速偕徽州得胜之军，合击祁门大营。

曾国藩困守祁门，粮断援绝，湘勇屡有哗变，国藩惊惧，熬煎益急，上吊自裁，被幕僚欧阳兆熊救下。