除权工部侍郎，继兼户部侍郎。奏请修绍兴三十一年以前故事，复敕令所删修官五员以待选人有才者，又乞申严保伍法。以言者罢归，起知镇江府，除集英殿修撰，改知宁国府，除宝谟阁待制，知潭州，除户部侍郎兼详定敕令官。奏湖北当储粟，湖南当增兵。未几，除龙图阁待制，知平江府，请得节制许浦水军，诏可。郡有使臣，故海盗也，作宾使招诱其党，既至，慰勉之，锡衣物，又得强勇者几千人，置将以统之，号曰"义士"；复募郡城内外恶少亦几千人，号曰"壮士"。衣粮器械皆视官军，而轻捷善斗过之，于是海道不警，市井无哗。寻命参赞督府，兼权镇江府。请留戍兵千人，又欲以江、闽新军二千人易旧军千人，备不虞。朝廷难之，遂请祠。言者继及之，复召为户部侍郎。军兴之余，国力殚耗，见存金谷，仅支旬日。作宾考逋负，柅吏奸，阅三月即有半年之储。充馆伴使，兼权工部尚书。
会临安阙知府事，时相欲奏用作宾，力辞。除权户部尚书，以母忧解，服阕，授显谟阁直学士、知建宁府。入觐，乞申严诡户之禁。除宝谟阁学士、江西安抚兼知隆兴府。奏部内南安、南康、龙泉三县，迫近溪峒，三县令尉及近峒之砦曰秀洲，曰北乡，曰莲塘，并永新县之胜乡砦，宜就委帅、宪两司择才辟置，量加赏格。又乞诏诸道监司分诣州郡，选禁军，精练阅，改刺其懦弱者为厢军。在郡撙钱二十余万缗，僚属请献诸朝，作宾谓平生未尝献羡，以半归帅司犒师，半隶本府。除焕章阁学士、提举隆兴府玉隆万寿宫，进显谟阁学士致仕，卒于家，赠金紫光禄大夫。
论曰：李衡进退雍容，几于闻道。王自中、家愿奇迈危言，摧折弗悔，咸有可称。尝考宋之立国，元气在台谏。崇宁、大观而后，奸佞擅权，爵赏冒滥，驯至覆亡。高、孝重绳纠封驳之司，张纲抑令懬恩，大经劾韩俣、斥董琏，人人振扬风采，正气稍伸矣。时则有若洸、濛、淙、章、作宾，班班有善，同传亦宜。