二年，复命移屯扬州，时至镇江视师。光世不奉诏，入朝言：邻寇有疑，或致生事，愿仍领浙西为根本计。右司谏方孟卿劾之，乞召宰执与议，使之必往，光世犹以乏粮为辞。光世之来，以缯帛、方物为献，帝命分赐六宫，中丞沈与求以为不可，命还之。
吕颐浩与光世有故怨，颐浩将出视师，首言光世兵冗不练，乞移其军还阙。帝曰："光世军粮不足，若骤移，必溃，先犒军而后料简可也。"颐浩至镇江，光世军果告乏，颐浩奏光世军月费二千万缗，乞差官考核。诏御史江跻、度支胡蒙至军点校，终不得实。帝方倚其成功，寻诏两漕臣措置镇江酒税务，助其军费；又罢织御服罗，省七百万缗以助之。加宁武、宁国军节度使。光世奏部将乔仲福、靳赛防江有劳，诏进一官，许回授。
光世固乞转行，给事中程瑀持不可，又言光世兵未渡江，金人或渡淮，江、浙必震。光世方遣人按行宜兴湖洑之间，以备退保。诏以章示之，光世迁延如故。
三年，命光世与韩世忠易镇，同召赴阙，授检校太傅、江东宣抚使。世忠既至镇江城下，奸人入城焚府库，光世擒之，皆云世忠所遣。世忠屯登云门，光世引兵出，惧其扼己，改途趋白鹭店。世忠遣兵袭其后，光世以闻。帝遣使和解，仍书《贾复》、《寇恂传》赐之。命为江东、淮西宣抚使，置司池州，赐钱十万缗。
刘豫将王彦先扬兵淮上，有渡江意。光世扼马家渡，遣郦琼屯无为军，为濠、庐援，贼乃退。光世奏鄜延李佾充阁门祗候，言者论其涉私，罢之。金人、刘豫入侵，时光世、张俊、韩世忠权相敌，且持私隙，帝遣侍御史魏矼至军中，谕以灭怨报国。光世乃移书二帅，二帅皆复书致情。光世始移军太平州以援世忠。金兵退，光世入觐，迁少保。帝曰："卿与世忠以少嫌不释，然烈士当以气义相许，先国家而后私仇。"复谕以光武分寇恂、贾复之事。光世泣谢，请以所置淮东田易淮西田，给事中晏敦复言其扰民而止；又请并封其三妾为孺人，南渡后，诸大将封妾自此始。会改神武军为行营护军，以光世所部称左护军。刘豫筑刘龙城以窥淮西，光世遣王师晟破之，加保静军节度使，遂领三镇。
张浚抚淮上诸屯，刘豫挟金人分道入侵，命光世屯庐州以招北军，与韩世忠、张俊鼎立，杨沂中将精卒为后距。刘猊驱乡民伪为金兵，布淮境。光世奏庐难守，密干赵鼎，欲还太平州。浚命吕祉驰往军中督师，光世已舍庐州退，浚遣人厉其众曰："若有一人渡江，即斩以徇。"光世不得已，驻兵与沂中相应，遣王德、郦琼领兵自安丰出谢步，遇金将三战，皆败之。张浚入对，言光世骄惰不战，不可为大将，请罢之。帝命与赵鼎议，鼎曰："光世将家子孙，将卒多出其门，罢之恐拂人心。"遂迁护国、镇安、保静军节度使。
右司谏陈公辅劾其不守庐州，张浚言其沈酣酒色，不恤国事，语以恢复，意气怫然，乞赐罢斥。光世引疾请罢军政，又献所余金谷于朝。拜少师，充万寿观使，奉朝请，封荣国公，赐甲第一区，以兵归都督府。公辅又言光世虽罢，而迁少师，赏罚不明；中书舍人勾龙如渊又缴还赐第之命。帝曰："光世罢兵柄，若恩礼稍加，则诸将知有后福，皆效力矣。"卒赐之。初，光世麾下多降盗，素无纪律；至是，督府命吕祉节制其军。郦琼杀祉，驱诸军降刘豫。
九年，用讲和恩，赐号"和众辅国功臣"，进封雍国公、陕西宣抚使。弟光远疏其短于言路，如渊时为中丞，再论光世不可遣而止。十年，金人围顺昌，拜太保，为三京招抚处置使，以援刘锜。光世请李显忠为前军都统，又请王德自隶。德不愿受其节制；显忠行至宿、泗，军多溃。进至和州，秦桧主罢兵，召还。光世入见，为万寿观使，改封杨国公。疾革，乞免其家科役，中书舍人张广格不下。卒，年五十四。赠太师，官其子孙、甥侄十四人，谥武僖。乾道八年，追封安城郡王。开禧元年，追封鄜王。
光世在诸将中最先进。律身不严，驭军无法，不肯为国任事，逋寇自资，见诋公论。尝入对，言："愿竭力报国，他日史官书臣功第一。"帝曰："卿不可徒为空言，当见之行事。"建炎初，结内侍康履以自固。又蚤解兵柄，与时浮沉，不为秦桧所忌，故能窃宠荣以终其身，方之韩、岳远矣。
王渊，字几道，熙州人，后徙环州。善骑射。应募击夏国，屡有功，累迁熙河兰湟路第三将部将、权知巩州宁远砦。诸羌入寇，经略司讨之，表渊总领岷山蕃兵将，兴师城泽州。羌悉众来争，渊奋击，大破之，追至邈川城。移同总领湟州蕃兵将兼知临宗砦，坐法免。