九年正月，击张洛行於草沟，破其巢，追至沱河，多溺水死，复击之双渡口，洛行泅水免。胜保与甲三意不合，屡疏诋之，诏斥“甲三督剿半载，但防徐、宿，不捣贼巢，日久无效”。召回京，入觐，面陈军事。四月，命署漕运总督。寻胜保以母忧归，命署钦差大臣，督办安徽军务，实授漕运总督。进攻临淮关，军南岸，断其粮道，降捻内应，斩关而入，生擒贼首顾大陇等，遂克之。
十年，进规凤阳，屡战皆捷。邓正明以府城乞降，张元隆犹据县城，诱出诛之，并诛悍贼三百馀人。未匝月，拔两城，诏嘉调度有方，赐黄马褂，命其子保恒赴军差遣。
捻匪陷清江浦，窥淮安，令道员张学醇击走之，乘胜复全椒。粤匪陈玉成来援，分扰滁州，令李世忠夹击走之。是时江北无统帅，扬州叛将薛成良拥众剽掠，亟发舟师扼高、宝诸湖。成良走依李世忠，甲三责以大义，即缚献成良，斩之以徇。令保恒合总兵张得胜、副都统花尚阿各军围定远，陈玉成纠众来援，会合捻匪扑凤阳，据九华诸山，连营数十里。城中食且尽，甲三令参将黄国瑞潜率锐卒四百夜薄九华山，跃入垒，城上发炮应之，贼大乱，弃营走，围乃解。
是年秋，英法联军入京师，车驾幸热河，甲三请率兵入卫，诏以临淮为南北筦钥，止勿行。和议定，条上四事，曰：慎采纳，节糜费，精训练，选将才，下所司议行。复疏请还京，泰西诸国欲助兵讨贼，甲三力陈非策，皆报闻。十一年，张洛行屯聚涡河北，令李世忠击走之。
练总苗沛霖者，凤台诸生，健猾为闾里雄。以团练功累擢川北道，加布政使衔，然不冠服，令其下称“先生”。所平贼圩辄置长，收其田租。缘道设关隘，垄断公私。涡河、浍、颍之间，跋扈自恣。甲三屡羁縻之，用以牵制捻匪。胜保尤信用沛霖，沛霖亦深与结纳，内怀反侧，惮威不敢猝发。至是藉口其练勇被害，据怀远，围寿州，巡抚翁同书为所劫持，杀寿州团练徐立壮；囚孙家泰，亦自尽，而寿州之围仍不撤；遣其党苟憬开犯河南，受粤匪封职，令练众蓄发，四出扰掠。於是诏褫沛霖职，命甲三会诸军进剿，同书罢去，贾臻代署巡抚，复於颍州被围。会张洛行大举渡淮，甲三移军击之，洛行败走。甲三屯长淮卫，解散沛霖属圩二百馀处。十一月，保恒偕总兵张得胜等克定远，粤匪遁走，进拔六合、天长。
同治元年，会克江浦、浦口，移军会多隆阿军攻庐州，克之。陈玉成走寿州投苗沛霖，执送胜保军，诛之。於是胜保为沛霖乞恩免罪，责剿捻自效，佯奉命而倔僵如故。甲三策沛霖终为患，疏陈大势，先剿群捻，次沛霖。荐李续宜抚皖，而自移师会僧格林沁军击捻匪，上报可。寻以病剧乞罢，允之。前因寿州失陷，部议革职，特诏宽免。
既受代，行至归德，疏陈四事，请崇圣学；议政亲臣专心国事；用人宜审；听言宜断：上嘉纳之。复奏苗练终难就抚。二年春，沛霖复叛，围蒙城，群捻助之，诏甲三在籍会筹防剿。临淮军苦饥乏。甲三奉命急筹接济，乃倡捐募敢死士出间道，运至蒙城。捻匪两犯陈州，甲三病已亟，榻前授将吏方略，击走之。寻卒，优诏赐恤，谥端敏。擢其子保恒侍讲学士，保龄内阁中书。陈州、临淮、淮安并建专祠。后淮安请祀名宦，河南请祀乡贤。
子保恒，字小午，道光三十年进士，选庶吉士，授编修。从父军中，咸丰五年，诏允留军差遣。七年，从解亳州围，拔白龙王庙、寺儿集、雉河集贼垒，进攻三圩，战最力。胜保以闻，加侍讲衔，赐花翎。八年，会攻怀远捻首李大喜，夺其辎重，又大破孙葵心、刘狗於太和，赐号伊勒图巴图鲁。九年，甲三罢军事，保恒回京供职。十年，复命保恒赴甲三军，破贼定远，帮办军务穆腾阿上其功，甲三力辞，上谕甲三不必引嫌。十一年，破苗沛霖党张士端於怀远，会克定远。同治元年，连擢侍讲、侍读、庶子。甲三以病解职，命保恒仍留军。寻丁继母忧，归。二年，从甲三督治陈州团防。甲三寻卒，恤典推恩，命保恒以侍讲学士即补。
淮北初平，保恒疏陈善后八策，请以逆产、绝产募民屯垦，整顿两淮盐务，以济屯田经费；又密陈李世忠骄恣难制，请加裁抑。三年，保恒以屯田议未即行，请诣京与廷臣面议。诏斥不谙体制，下部议降一级，以鸿胪寺少卿候补。服阕赴京，廷臣交荐其才。七年，捻匪犯畿辅，保恒自请效力戎行，命赴李鸿章军委用。捻平，加三品衔，授侍讲学士。从陕甘总督左宗棠赴陕西，八年，命筦西征粮台，许专摺奏事。十一年，迁詹事。肃州克复，加头品顶戴。十三年，连擢内阁学士、户部侍郎。保恒督饷凡五载，诸军欠饷纠轕，腾挪无缺。及大军出关，诏襄办左宗棠转饷事，进驻肃州。保恒请入觐，未许。光绪元年，召回京，兼署吏部侍郎。二年，调刑部侍郎。