衍好荐引贤士，而沮止侥幸，小人多不悦。其婿苏舜钦，少年能文章，论议稍侵权贵，监进奏院，循前例，祠神以伎乐娱宾，集贤校理王益柔为衍所知，或言益柔尝戏作《傲歌》，御史皆劾奏之，欲因以危衍。谏官孙甫言："丁度因对求大用，请属吏。"度知甫所奏误，力求置对。衍以甫方奉使契丹，寝甫奏，度深衔之。及衍罢，度草制指衍朋比。时范仲淹、富弼欲更理天下事，与用事者不合，仲淹、弼既出宣抚，言者附会，益攻二人之短。帝欲罢仲淹、弼政事，衍独左右之，然衍平日议论，实非朋比也。以尚书左丞出知兖州。庆历七年，衍甫七十，上表请还印绶，乃以太子少师致仕。
衍为宰相，贾昌朝不喜，议者谓故相一上章得请，以三少致仕，皆非故事，盖昌朝抑之也。皇祐元年，特迁太子太保，召陪祀明堂，仍诏应天府敦遣就道，都亭驿设帐具几杖待之，称疾固辞。进太子太傅，赐其子同进士出身，又进太子太师。知制诰王洙谒告归应天府，有诏抚问，封祁国公。
衍清介不殖私产，既退，寓南都凡十年，第室卑陋，才数十楹，居之裕如也。出入从者十许人，乌帽、皂履、绨袍、革带。或劝衍为居士服，衍曰："老而谢事，尚可窃高士名邪！"善为诗，正书、行、草皆有法、病革，帝遣中使赐药，挟太医往视，不及，卒，年八十。赠司徒兼侍中，谥正献。戒其子努力忠孝，敛以一枕一席，小圹庳冢以葬。自作遗疏，其略曰："无以久安而忽边防，无以既富而轻财用，宜早建储副，以安人心。"语不及私。
论曰：李迪、王曾、张知白、杜衍，皆贤相也。四人风烈，往往相似。方仁宗初立，章献临朝，颇挟其才，将有专制之患。迪、曾正色危言，能使宦官近习，不敢窥觎；而仁宗君德日就，章献亦全令名，古人所谓社稷臣，于斯见之。知白、衍劲正清约，皆能靳惜名器，裁抑侥幸，凛然有大臣之概焉。宋之贤相，莫盛于真、仁之世，汉魏相，唐宋璟、杨绾，岂得专美哉！