代宗既素重杨绾，欲以政事委之。绾寻卒，衮与绾志尚素异，嫉而怒之。有司议谥绾为文贞，衮微讽比部郎中苏端令驳之，毁绾过甚，端坐黜官。时既无中书侍郎，舍人崔祐甫领省事，衮以为同中书门下平章事兼得总中书省，遂管综中书胥吏、省事去就及其案牍，祐甫不能平之，累至忿竞。遂令祐甫分知吏部选事，所拟官又多驳下。时衮散官尚朝议，又无封爵，郭子仪因入朝奏之，遂特加银青光禄大夫，封河内郡公。及代宗崩，与祐甫争论丧服轻重，代相署奏。初换祐甫河南少尹，再贬为潮州刺史。杨炎入相，素与衮善，建中元年，迁福建观察使。四年正月卒，时年五十五。久之。赠左仆射。有文集六十卷。
史臣曰：善人为邦百年，即可胜残去杀，杨绾入相数日，遽致移风易俗。周、召、伊、傅，萧、张、房、杜，历代为相之显者，蔑闻斯道也。尝读诸集，赏善多溢美，书罪多溢恶；如杨绾拜相之麻，赠官之制，改谥之诏，则当时秉笔者无愧色矣。昔赵文子荐士七十，古为美谈；崔祐甫除吏八百，人无间言。开物成务之才，灭私徇公之道可知也。噫！公权余旬日而薨，贻孙未期年而逝，邃古已来，理世少而乱世多，其义在兹矣。常衮之辈，不足云尔。
赞曰：公权儒道，贻孙相才。命乎不永，时哉可哀。