绍兴元年，帝至会稽。时金人残乱之余，孔彦舟据武陵，张用据襄汉；李成尤悍，强据江、淮、湖湘十余州，连兵数万，有席卷东南意，多造符谶蛊惑中外，围江州久未解，时方患之。范宗尹请遣将致讨，俊慨然请行，遂改江、淮路招讨使。
成党马进在筠州。豫章介江、筠之间，俊闻命就道，急趋豫章，且曰："我已得洪州，破贼决矣。"乃敛兵，若无人者，金鼓不动，令将士登城者斩。居月余，进以大书牒来索战，俊以细书状报之，贼以俊为怯。俊谍知贼怠，乃议战。岳飞为先锋，杨沂中由上流径绝生米渡，出贼不意，追奔七十里，至筠州。贼背筠河而阵，俊用杨沂中计，亲以步兵当其前，精骑数千授沂中及陈思恭，俾从山后夹击，以午为期。俊与贼鏖战至午，精骑自山驰下，贼骇乱退走，大败。
既复筠州、临江军，捷奏，帝赐御笔，谓："宜乘贼势已衰，当官军已振，驱除剿戮，速收全功。"俊未拜亲诏，已追至北奉新楼子庄。贼党商元据草山，挟险设伏，俊遣步兵从间道直趋山椒，杀伏夺险，乘胜追至江州。成势迫，绝江而遁，号俊为"张铁山"。复江州。已而兴国军等处群盗闻俊兵至，皆遁去。俊引兵渡江至黄梅县，亲与成战。成惩奉新失险之败，据石矢坡，凭山以木石投人。俊先遣游卒进退，若争险状以诳贼，俊亲冒矢石，帅众攻险，贼众数万俱溃，马进为追兵所杀，成北走降刘豫，诸郡悉平。拜太尉。
四年十月，金人与刘豫分道入侵。先是谍至，举朝震恐，或请他幸。俊谓赵鼎曰："避将何之？惟向前进一步，庶可脱。当聚天下兵守平江，徐为计。"鼎曰："公言避非策，是也；以天下兵守一州，非也。公但坚前议足矣。"遂以俊为两浙西路、江南东路宣抚使，屯建康。既而改淮西宣抚使。濒江相距逾月，敌不得入。俊遣张宗颜潜渡至六合，出其背。敌将引去，俊继遣王进曰："敌既无留心，必迳渡淮去，可速及其未济击之。"进往，敌果北渡，遂薄诸淮，大败之，获其酋程师回、张延寿以献。
五年，刘麟入寇，俊与杨沂中合兵拒于泗州。六年，改崇信、奉宁军节度使。刘麟兵十余万犯濠、寿，诏并以淮西属俊，杨存中亦听节制，与俊合兵拒敌。俊分遣存中与张宗颜、王玮、田师中等，自定远军次越家坊，遇刘猊左右军，击走之。俊率大军鼓行而前，至李家湾遇猊大兵，与战，杀获略尽，降者万余人，猊仅以身免。拜少保，加镇洮、崇信、奉宁军节度使。帝曰："卿议论持重，深达敌情；兼闻挽强之士数万，报国如此，朕复何虑。"又曰："群臣谓朕待卿独厚，其仰体眷怀，益思勉励。"
七年，改淮南西路宣抚使，置司盱眙。俊与韩世忠入见，议移屯。秦桧奏："臣尝语世忠、俊，陛下倚此二大将，譬如两虎，固当各守藩篱，使寇不敢近。"帝曰："正如左右手，岂可一手不尽力邪？"命俊自盱眙屯庐州。八年，金人请寝兵，许之。赐俊"安民靖难功臣"，拜少傅。
九年冬，金复渝盟，再破河南，图顺昌府，命俊策应刘锜。俊督军渡江，金人引退。继而金人三路都统自东、南两京分道来侵，抵亳州北渡河，俊收宿、亳诸军击之，尽复卫真、鹿邑等地，师还。十年，郦琼在亳州，俊以大军至城父，都统制王德下符离，乘胜趋亳与俊合。俊引军入城，金人弃城遁，父老列香花迎俊，遂复亳州，留统制宋超守之。俊引军还寿春，进少师，封济国公。
十一年二月，兀术入合肥，渐攻历阳，江东制置大使叶梦得见俊，请速出军。俊遣兵渡江，谕诸将曰："先得和州者胜。"王德愿为诸军先，士鼓噪而行。敌已据之，德率众渡采石先登，俊宿中流。德抵城下，金人退屯昭关。后三日，复败金将韩常于含山。命关师古复巢县，遂复昭关。使左军统制赵密偃兵篁竹，出六丈河以分金势。张守忠以五百骑败金人于全椒。未几，敌断石梁以拒俊，俊疾作，力疾引众涉流登岸，追击之。王德与杨存中、刘锜会兵，败金人于柘皋。拜枢密使。俊知朝廷欲罢兵，首请纳所统兵。议赏宿、亳功，俊部将王德、田师中、刘宝、李横、马立、张澥六人同日首受上赏。
俊力赞和议，与秦桧意合，言无不从。荐士大夫监司、郡守者甚众，虽刘子羽自谪籍起家，亦俊力也。加太傅，封广国公，寻进益国公。十二年十一月，以殿中侍御史江邈论之，罢为镇洮、宁武、奉宁军节度使，充醴泉观使。初，桧以俊助和议，德之，故尽罢诸将，以兵权付俊。岁余，俊无去意，故桧使邈攻之。寻进封清河郡王，奉朝请。