景祐中，范讽得罪，迪坐姻党，罢为刑部尚书，知亳州，改相州。既而为资政殿大学士、翰林侍读学士，留京师。迪素恶吕夷简，因奏夷简私交荆王元俨，尝为补门下僧惠清为守阙鉴义。夷简请辨，诏讯之，乃迪在中书所行事，夷简以斋祠不预。降太常卿、知密州。复刑部尚书、知徐州。迪奏所部邻兖州，欲行县因祠岳为上祈年、祷皇子。仁宗语辅臣曰："大臣当为百姓访疾苦，祈祷非迪所宜，其毋令往。"久之，改户部尚书、知兖州，复拜资政殿大学士。
元昊攻延州，武事久弛，守将或为他名以避兵。迪愿守边，诏不许，然甚壮其意。除彰信军节度使、知天雄军，徙青州。逾年，之本镇。请老，以太子太傅致仕，归濮州。后其子柬之为侍御史知杂事，奉迪来京师。帝数遣使问劳，欲召见，以疾辞。薨，年七十七。赠司空、侍中，谥文定。帝篆其墓碑曰"遗直之碑"，又改所葬邓侯乡曰遗直乡。子柬之、肃之、承之、及之，孙孝寿、孝基、孝称。
柬之字公明，晓国朝典故。献文，召试，赐进士出身，为馆阁校勘、宣化军使。境上有废河故道，官收行者税，谓之"干渡钱"，奏除之。进直集贤院、判吏部南曹、开封府推官、盐铁判官，历知邢汉庐州、凤翔府，京东、陕西转运使，擢侍御史知杂事。
柬之自少受知于寇准，至是论准保护之功。仁宗恻然，即赐其碑曰"旌忠"。拜天章阁待制、河北都转运使，加龙图阁直学士。建言补荫之门太广，遂诏裁定，自二府而下，通三岁减入仕者一千人。知荆南、河阳、澶州，改集贤院学士，判西京留司御史台。
英宗即位，富弼荐其学行，复旧职，兼侍读。帝劳之曰："卿通议耆儒，方咨访以辅不逮，岂止经术而已。"帝颇欲肃正宫省，柬之谏曰："陛下，长君也，立自宗藩，众方观望，愿曲为容覆。"赐颍王生日礼物，故事，王拜赐竟，即退。帝谕王令留柬之食，冀其从容也。王即位未几，柬之请老，自工部尚书拜太子少保致仕。旧无阁门谢辞式，特赐对延和，命之坐，仍置宴资善堂，遣使谕之曰："以先帝梓宫在殡，朕不得为诗。"令讲读官皆赋诗，劝劳甚渥，又敕王珪叙其事。柬之出都门，即幅巾白衣以见客。再迁少师。熙宁六年，卒，年七十八。
有李受者，字益之，长沙之浏阳人也。仕于治平中，至右谏议大夫、天章阁待制兼侍读。屡以老乞骸骨，不听。神宗立，进给事中、龙图阁直学士。复言："臣在先帝时，年已七十，不敢窃禄以自安。今又加数年，筋力惫矣，惟陛下哀之。"于是拜刑部侍郎致仕，赐宴赋诗及序，如柬之礼。相去数月，故时称"二李"。卒年八十，赠工部尚书。
肃之字公仪，迪弟子也。以迪荫，监大名府军资库。大河溢，府檄修冠氏堤，工就弗扰，民悦之，请为宰。邑多盗，时出害人。肃之令比户置鼓，有盗，辄击鼓，远近皆应，盗为之衰止。为御河催纲。横陇之决，使者檄护金堤，满岁无河患。
通判澶州。契丹泛使将过郡，而楼堞坏圮，肃之谓郡守曰："吾州为景德破敌之地，当示雄疆，今保障若是，且奈何？"遂鸠工构城屋，凡千区。已而中贵人衔命来视，规置一新，惊赏嗟异，闻之朝。擢知德州，提点开封府界内县镇，夔路、湖南刑狱。侬蛮暴岭外，肃之亲捍诸境，会蒋偕失利，亟率兵往蹑于临贺，贼引去。狄青、孙沔交荐之，徙湖北转运使。辰阳彭仕羲叛，讨平之，犹以过左迁，知齐州。改江东、两浙、河北转运使，进度支副使、江淮发运使。
神宗初即位，谅祚寇大顺城。肃之入奏，帝访以西夏事，奏对称旨。以为右谏议大夫、知庆州；数日，徙瀛州。大雨地震，官舍民庐推陷。肃之出入泥潦中，结草囷以储庾粟之暴露者，为茇舍以居民，启廪振给，严儆盗窃，一以军法从事。天子闻而嘉之，遣使劳赐。迁天章阁待制、知开封府，出知定州。还，迁三司使，又出为永兴军、青、齐二州。元丰二年，复知开封，为枢密都承旨，加龙图阁直学士、知郓州。四年，提举太极观。卒，年八十二。
肃之内行修饬，母丧，庐墓三年，不入城郭。季弟承之，生而孤，鞠育诲道，至于成人，遂相继为侍从。帝称其一门忠孝云。
承之字奉世，性严重，有忠节。从兄柬之将仕以官，辞不受，而中进士第，调明州司法参军。郡守任情骫法，人莫敢忤，承之独毅然力争之。守怒曰："曹掾敢如是邪？"承之曰："事始至，公自为之则已，既下有司，则当循三尺之法矣。"守惮其言。