金人再攻常州，飞四战皆捷；尾袭于镇江东，又捷；战于清水亭，又大捷，横尸十五里。兀术趋建康，飞设伏牛头山待之。夜，令百人黑衣混金营中扰之，金兵惊，自相攻击。兀术次龙湾，飞以骑三百、步兵二千驰至新城，大破之。兀术奔淮西，遂复建康。飞奏："建康为要害之地，宜选兵固守，仍益兵守淮，拱护腹心。"帝嘉纳。兀术归，飞邀击于静安，败之。
诏讨戚方，飞以三千人营于苦岭。方遁，俄益兵来，飞自领兵千人，战数十合，皆捷。会张俊兵至，方遂降。范宗尹言张俊自浙西来，盛称飞可用，迁通、泰镇抚使兼知泰州。飞辞，乞淮南东路一重难任使，收复本路州郡，乘机渐进，使山东、河北、河东、京畿等路次第而复。
会金攻楚急，诏张俊援之。俊辞，乃遣飞行，而命刘光世出兵援飞。飞屯三墩为楚援，寻抵承州，三战三捷，杀高太保，俘酋长七十余人。光世等皆不敢前，飞师孤力寡，楚遂陷。诏飞还守通、泰，有旨可守即守，如不可，但以沙洲保护百姓，伺便掩击。飞以泰无险可恃，退保柴墟，战于南霸桥，金大败。渡百姓于沙上，飞以精骑二百殿，金兵不敢近。飞以泰州失守待罪。
绍兴元年，张俊请飞同讨李成。时成将马进犯洪州，连营西山。飞曰："贼贪而不虑后，若以骑兵自上流绝生米渡，出其不意，破之必矣。"飞请自为先锋，俊大喜。飞重铠跃马，潜出贼右，突其阵，所部从之。进大败，走筠州。飞抵城东，贼出城，布阵十五里，飞设伏，以红罗为帜，上刺"岳"字，选骑二百随帜而前。贼易其少，薄之，伏发，贼败走。飞使人呼曰："不从贼者坐，吾不汝杀。"坐而降者八万余人。进以余卒奔成于南康。飞夜引兵至朱家山，又斩其将赵万。成闻进败，自引兵十余万来。飞与遇于楼子庄，大破成军，追斩进。成走蕲州，降伪齐。
张用寇江西，用亦相人，飞以书谕之曰："吾与汝同里，南薰门、铁路步之战，皆汝所悉。今吾在此，欲战则出，不战则降。"用得书曰："果吾父也。"遂降。
江、淮平，俊奏飞功第一，加神武右军副统制，留洪州，弹压盗贼，授亲卫大夫、建州观察使。建寇范汝为陷邵武，江西安抚李回檄飞分兵保建昌军及抚州，飞遣人以"岳"字帜植城门，贼望见，相戒勿犯。贼党姚达、饶青逼建昌，飞遣王万、徐庆讨擒之。升神武副军都统制。
二年，贼曹成拥众十余万，由江西历湖湘，据道、贺二州。命飞权知潭州，兼权荆湖东路安抚都总管，付金字牌、黄旗招成。成闻飞将至，惊曰："岳家军来矣。"即分道而遁。飞至茶陵，奉诏招之，成不从。飞奏："比年多命招安，故盗力强则肆暴，力屈则就招，苟不略加剿除，蜂起之众未可遽殄。"许之。
飞入贺州境，得成谍者，缚之帐下。飞出帐调兵食，吏曰："粮尽矣，奈何？"飞阳曰："姑反茶陵。"已而顾谍若失意状，顿足而入，阴令逸之。谍归告成，成大喜，期翌日来追。飞命士蓐食，潜趋绕岭，未明，已至太平场，破其砦。成据险拒飞，飞麾兵掩击，贼大溃。成走据北藏岭、上梧关，遣将迎战，飞不阵而鼓，士争奋，夺二隘据之。成又自桂岭置砦至北藏岭，连控隘道，亲以众十余万守蓬头岭。飞部才八千，一鼓登岭，破其众，成奔连州。飞谓张宪等曰："成党散去，追而杀之，则胁从者可悯，纵之则复聚为盗。今遣若等诛其酋而抚其众，慎勿妄杀，累主上保民之仁。"于是宪自贺、连，徐庆自邵、道，王贵自郴、桂，招降者二万，与飞会连州。进兵追成，成走宣抚司降。时以盛夏行师瘴地，抚循有方，士无一人死疠者，岭表平。授武安军承宣使，屯江州。甫入境，安抚李回檄飞捕剧贼马友、郝通、刘忠、李通、李宗亮、张式，皆平之。
三年春，召赴行在。江西宣谕刘大中奏："飞兵有纪律，人恃以安，今赴行在，恐盗复起。"不果行。时虔、吉盗连兵寇掠循、梅、广、惠、英、韶、南雄、南安、建昌、汀、邵武诸郡，帝乃专命飞平之。飞至虔州，固石洞贼彭友悉众至雩都迎战，跃马驰突，飞麾兵即马上擒之，余酋退保固石洞。洞高峻环水，止一径可入。飞列骑山下，令皆持满，黎明，遣死士疾驰登山，贼众乱，弃山而下，骑兵围之。贼呼丐命，飞令勿杀，受其降。授徐庆等方略，捕诸郡余贼，皆破降之。初，以隆祐震惊之故，密旨令飞屠虔城。飞请诛首恶而赦胁从，不许；请至三四，帝乃曲赦。人感其德，绘像祠之。余寇高聚、张成犯袁州，飞遣王贵平之。