御宝实封令与临安府窦思永改合入官，衡奏："选人改官，非奏对称旨，则用考举磨勘，一旦特旨与之，非陛下爱惜人才之意。"上亟收前命。
上谕执政，选使求河南，衡奏："司谏汤邦彦有口辨，宜使金。"邦彦请对，问所以遣，既知荐出于衡，恨衡挤己，闻衡对客有讪上语，奏之，上大怒。即日罢相，责授安德军节度副使，郴州安置。邦彦使还，果辱命，上震怒，窜之岭南，诏衡自便，复官与祠。年六十有二薨，赠资政殿学士。
衡负才足智，理兵事甚悉，由小官不十年至宰相，进用之骤，人谓出于曾觌云。
论曰：陈康伯以经济自任，临事明断。梁克家才优识远，谋国尽忠。至若汪澈之论事忠悫，荐达人才，叶义问直言正色，扫除秦桧余党，然不长于兵，临敌失措，岂优议论而劣事功者欤？叶颙清俭正直，而衡才智有余，盖亦一时之选云。