哲宗立，拜尚书右仆射兼中书侍郎。首相蔡确与章惇谋诬东朝，及确为山陵使，缜暴其奸状，由是东朝及外廷悉知之。确使还，欲以其属高遵惠、张琎、韩宗文为美官。宣仁后以访缜，缜曰："遵惠为太后从父；琎者，中书郎璪之弟；宗文，臣侄也。今擢用非次，则是君臣各私其亲，何以示天下？"乃止。
元祐元年，御史中丞刘挚、谏官孙觉、苏辙、王觌，论缜才鄙望轻，在先朝为奉使，割地六百里以遗契丹，边人怨之切骨，不可使居相位。章数十上，罢为观文殿大学士、知颍昌府。移永兴、河南，拜安武军节度使、知太原府，易节奉宁军。请老，为西太一宫使，以太子太保致仕。绍圣四年卒，年七十九。赠司空，谥曰庄敏。
缜外事庄重，所至以严称。虽出入将相而寂无功烈，厚自奉养，世以比晋、何、曾云。子宗武。
宗武，第进士，韩宗彦镇瀛州，辟为河间令。值河溢，增堤护城，吏率兵五百伐材近郊，虽墓木亦不免，父老遮道泣，宗武入府白罢之。徽宗即位，为秘书丞，因日食上疏言："近世事有微渐而不可不察者五：大臣不畏公论，小臣趋利附下，一也。人主怠于政事，威柄下移，怨讟归上，二也。左右无辅拂之士，守边无御侮之臣，三也。开境土以速边患，耗赋财以弊民力，四也。岁谷不登，仓庾空竭，民人流亡，盗贼数起，五也。根治朋党，追复私怨。正士黜废，耆老歼亡，旋起大狱，害及善类。文章号令，衰于前世。大河决溢，饥馑荐臻。执政大臣，人怀异意，排去旧怨，以立新党，徒为纷纷，无忧国忘家之虑。诚愿躬揽权纲，收还威柄，敷言奏功，考察名实，不以侍御之好、钟鼓之娱为乐。仁祖恻怛至诚，以收天下之心；神宗厉精不息，以举天下之事；皆所宜法。"不报。
哲宗将祔庙，中旨索省中书画甚急。宗武言："先帝祔庙，陛下哀慕方深，而丹青之玩，取索不已，播之于外，惧损圣德。陛下践祚，如日初升，当讲劘典训，开广圣学，好玩易志，正古人所戒也。"疏入，皇太后见之，怒曰："是皆内侍数辈所为尔。"欲尽加罚，帝委曲申救，乃已。明日，太后对宰相奖叹，令俟谏官员阙即用之。寻除都官员外郎，改开封府推官。丐外，为淮南转运判官。前使者贷上供钱，禁庭遣使来索。宗武奏具状，词极鲠切，坐贬秩，罢归。久之，蔡京欲以知颍州。帝语秘书事，京不敢复言，遂致仕。官累太中大夫，年八十二卒。
论曰：王称曰："昔袁安未尝以赃罪鞫人，史氏以其仁心，足以覃乎后昆。韩亿不悦捃人小过，而君子知其后必大，皆盛德事也。亿有子位公府，而行各有适。绛适于同，维适于正，缜适于严。呜呼，维其贤哉！"