先是，丙尝纳夏人合从之请，会师攻秦、巩，而夏人不至，遂有皂郊之败。与之至是饬边将不得轻纳。逾年，夏人复攻金人，遣百骑入凤州，邀守将求援兵。与之使都统李冲来言曰："通问当遣介持书，不当遣兵径入。若边民不相悉，或有相伤，则失两国之好，宜敛兵退屯。"夏人知不可动，不复有言。初，金人既弊，率众南归者所在而有，或疑不敢纳。与之优加爵赏以来之。未几，金万户呼延棫等扣洋州以归，与之察其诚，纳之，籍其兵千余人，皆精悍善战，金人自是不敢窥兴元。既复镂榜边关，开谕招纳，金人谍得之，自是上下相疑，多所屠戮，人无固志，以至于亡。
蜀盛时，四戎司马万五千有奇，开禧后，安丙裁去三之一，嘉定损耗过半，比与之至，马仅五千。与之移檄茶马司，许戎司自于关外收市如旧，严私商之禁，给细茶，增马价，使无为金人所邀。总司之给料不足者，亦移檄增给之。乞移大帅于兴元，虽不果行，而凡关外林木厚加封殖，以防金人突至。隔第关、盘车岭皆极边，号天险，因厚间探者赏，使觇之，动息悉知，边防益密。总计告匮，首拨成都府等钱百五十万缗助籴本。又虑关外岁籴不多，运米三十万石积沔州仓，以备不测。初至，府库钱仅万余，其后至千余万，金帛称是。蜀知名士若家大酉、游似、李性传、李心传、度正之徒皆荐达之，其有名浮于实，用过其才者，亦历历以为言。沔帅赵彦呐方有时名，与之独察其大言亡实，它日误事者必此人，移书庙堂，欲因乞祠而从之，不可付以边藩之寄，后果如其言。与之以疾丐归，朝廷以郑损代，既受代，金谍知之，大入，与之再为临边，金人乃退。召为礼部尚书，不拜，便道还广。蜀人思之，肖其像于成都仙游阁，以配张咏、赵抃，名三贤祠。
理宗即位，授充显谟阁直学士、知潭州、湖南安抚使，辞，提举西京嵩山崇福宫。迁焕章阁学士、知隆兴府、江西安抚使，又辞，授徽猷阁学士、提举南京鸿庆宫。端平初，帝既亲政，召为吏部尚书，数以御笔起之，皆力辞。金亡，朝廷议取三京，闻之顿足浩叹。继而授端明殿学士、提举嵩山崇福宫，亦辞，俄授广东经略安抚使兼知广州。
先是，广州摧锋军远戍建康，留四年，也撤戍归，未逾岭，就留戍江西，又四年，转战所向皆捷，而上功幕府，不报，求撤戍，又不报，遂相率倡乱，纵火惠阳郡，长驱至广州城，声言欲得连帅洎幕属甘心焉。与之家居，肩舆登城，叛兵望之，俯伏听命，晓以逆顺祸福，其徒皆释甲，而首谋数人，惧事定独受祸，遂率之遁去，入古端州以自固。至是，与之闻命亟拜，即家治事，属提刑彭铉讨捕，潜移密运，人无知者。俄而新调诸军毕集，贼战败请降，桀黠不悛者戮之，其余分隶诸州。
帝于是注想弥切，拜参知政事，拜右丞相，皆力辞。乃访以政事之孰当罢行，人才之孰当用舍？与之力疾奏："天生人才，自足以供一代之用，惟辨其君子小人而已。忠实而有才者，上也；才虽不高，而忠实有守者，次也。用人之道，无越于此。盖忠实之才，谓之有德而有才者也。若以君子为无才，必欲求有才者用之，意向或差，名实无别，君子、小人消长之势，基于此矣。陛下励精更始，擢用老成，然以正人为迂阔而疑其难以集事，以忠言为矫激而疑其近于好名，任之不专，信之不笃。或谓世数将衰，则人才先已凋谢，如真德秀、洪咨夔、魏了翁，方此柄用，相继而去，天意固不可晓。至于敢谏之臣，忠于为国，言未脱口，斥逐随之，一去而不可复留，人才岂易得，而轻弃如此。陛下悟已往而图方来，昨以直言去位者亟加峻擢，补外者蚤与召还，使天下明知陛下非疏远正人，非厌恶忠言，一转移力耳。陛下收揽大权，悉归独断。谓之独断者，必是非利害，胸中卓然有定见，而后独断以行之。比闻独断以来，朝廷之事体愈轻，宰相进拟多沮格不行，或除命中出，而宰相不与知，立政造命之原，失其要矣。大抵独断当以兼听为先，傥不兼听而断，其势必至于偏听，实为乱阶，威令虽行于上，而权柄潜移于下矣。"
又曰："边臣主和，朝廷虽知，而未尝明有施行。忧边之士，剀切而言，一鸣辄斥，得非朝廷亦阴主之乎？假使和而可保，亦当议而行之可也。"又曰："比年以变故层出，盗贼跳梁，雷雹震惊，星辰乖异，皆非细故。京城之灾，七年而两见，岂数万户生灵皆获罪于天者。百姓有过，在予一人，此陛下所当凛凛，惟有求直言可以裨助君德，感格天心。"又曰："戚畹、旧僚，凡有丝发寅缘者，孰不乘间伺隙以求其所大欲，近习之臣，朝夕在侧，易于亲昵，而难于防闲。司马光谓'内臣不可令其采访外事，及问以群臣能否'，盖干预之门自此始也。若谓其所言出于无心，岂知爱恶之私，因此而入，其于圣德，宁无玷乎？"帝览奏嘉叹，趣召愈力，控辞至十有三疏。