仁宗崩，帖木迭儿复居相位，锐意报复，属其党何志道，诱世延从弟胥益儿哈忽诬告世延。逮世延置对，中途遇赦。世延以疾抵荆门，留就医。帖木迭兀遣使录至京师，复使人讽世延啖以美名，令告引同时劾己者。世延不听，乃坐以违诏书不敬，又谋害宰相，当外极刑。帝以事在赦前，不允。帖木迭儿更以它事白帝系之，刑曹逼令自裁，世延不为动。逾年，胥益儿哈忽亡去，中书左丞相拜住屡言世延亡辜，命出狱养疾。先是，帝猎北凉亭，顾谓侍臣曰：“赵世延，先帝所尊礼，而帖木迭儿妄入其罪，数请诛之，此殆报私怨耳，朕岂能从之。”侍臣皆即头称万岁。帖木迭儿在上京，闻世延出狱，索省牍视之，怒曰：“此左丞相罔上所为也。”事闻，帝语之曰：“此朕意耳。”未几，帖木迭儿死，事乃释。世延侨于金陵。
泰定元年，召还，除集贤大学士。明年，出为江南行台御史中丞。四年，入朝，复为御史中丞，又迁中书右丞。诏：赵世延顷为权奸所诬，中书宜遍移天下，昭雪其辜，仍加翰林学士承旨、光标大夫。经筵开，兼知经筵事。又加同知枢密院事。
泰定帝崩，燕铁木儿迎文宗于江陵，使世延分典机务。文宗即位，世延仍以仍史中丞兼翰林学士承旨，以疾乞归田里，诏不允。用中丞崔彧故事，加平章政事，居前职。天历二年正月，复除江甫行台御史中丞，行次济州，三月，改集贤大学士，六月，又加奎章阁大不士，八月，拜中书平章政事。冬，世延至京，固辞，不允。诏以世延年高多疾，许乘小车入内。至顺元年，诏世延与虞集等纂修《经世大典》，世延屡乞解中书政务，专意纂修。帝曰：“老臣如卿者无几，退之言，后勿复陈。”四月，仍加翰林学士承旨，封鲁国公。六月，燕铁木儿言：“向有旨，惟许臣及伯颜兼领三职，今赵世延以平章政事兼翰林学士承旨、奎章阁大学士。”引疾以辞，帝曰：“朕重老成人，其令世延仍视事中书，果病，不领铨选可也。”七月，监察御史葛明诚言：“世延年逾七十，智忠衰耗，固位苟容，无补于事，请斥归田里。”诏中书议之。燕铁木儿言：“世延以年屡乞致仕，臣等以闻敕”世延旧人，宜在中书。御史之言，不知前旨也。”帝曰：“御史言，世延固难任中书，其仍以翰、奎章之职任之。”是年，世延乃乞病归，养于金陵之茅山。二年，改封凉国公。
元统二年，诏赐世延钱四万缗。至元元年，仍除奎章阁大学土、翰林学士承旨、中书平章政事、鲁国公。明年五月，至大都，十一月卒，年七十有七。至正二年，赠世忠执法佐运翊亮功臣、太保、金紫光禄大夫、上柱国，追封鲁国公，谥文忠。世延尝较定律令，汇次《风宪宏纲》行于世。
五子，野峻台，次月鲁，江浙行省理问官；次伯忽，夔州路总管，天国初囊加台据蜀叛，死于难，赠推忠秉义效节功臣、资善大夫、中书右丞、上护军，追封蜀郡公，谥忠愍。
野峻台，由四川行省左右司郎中、西行合监察御史、河西廉访副使，转黄州路总管。湖广既陷，朝廷察其材，擢四川行省参知政事，命与平章吱住讨喊。咬住军五千，分锐卒八百，使野峻台为前驱。贼方据巴东县，攻拔之。是时，归、峡等州皆方贼所守，野峻台破贼江上，斩溺无算。归、峡平，又进拔枝江、松滋两县，乘胜趋江陵。贼出阵清水门，鏖战至夕，贼退入城。黎明，贼出战，咬住止军百步外，先大陷阵，贼飞枪剌野峻台，杀之。事闻，赠荣禄大夫、陕西行省平章政事、柱国，追封凉国公，谥忠壮。
阿巴直，一名国安。国宝将卒，以子世荣幼，命阿巴直袭其职。兼文州吐蕃万户府达鲁花赤。后以国宝功，赐阿巴直金虎符，进昭勇大将军。十五年，讨叛王吐鲁于六盘山，获之，请辞职授世荣。帝曰：“人争，汝证，可以敦薄俗。”录其六盘功，迸昭毅大将军、招讨使，世荣袭其父职。
弟：钦木儿，佩金符、管军万户；质儿瓦台、主浑，俱佩金符、营军千户。
月乃合，字正卿，本雍古部，后征于静州，曾祖帖木儿越哥，金马步军指挥使，因以马为氏。父马庆祥，本名昔里吉思，金凤翔府路兵马都总管判官。大军克凤翔，昔里吉思尽室自焚。其仆抱婴儿出，即月乃合也。金宣宗南迁，赠昔里吉思镇国上将军、恒州剌史，从祀于褒忠庙。
月乃合，幼好学，每奋而自誓曰：“吾爷死于国难，吾纾家难可也。”金亡，北渡河，见宪宗于藩邸。帝嘉其端谨，使佐断事官卜儿只。月乃合概然以治道自任。政事修举，有能名。