王曾与夷简数争事，不平，曾斥夷简纳赂市恩。夷简乞置对，帝问曾，曾语屈，于是二人皆罢。夷简以镇安军节度使、同平章事判许州，徙天雄军。未几，以右仆射复入相，逾年，进位司空，辞不拜，徙许国公。时方饬兵备，以判枢密院事，而谏官田况言总判名太重，改兼枢密使。
契丹聚兵幽蓟，声言将入寇，议者请城洛阳。夷简谓："契丹畏壮侮怯，遽城洛阳，亡以示威，景德之役，非乘舆济河，则契丹未易服也。宜建都大名，示将亲征以伐其谋。"或曰："此虚声尔，不若修洛阳。"夷简曰："此子囊城郢计也。使契丹得渡河，虽高城深池，何可恃耶？"乃建北京。
未几，感风眩，诏拜司空、平章军国重事，疾稍间，命数日一至中书，裁决可否。夷简力辞，复降手诏曰："古谓髭可疗疾，今翦以赐卿。"三年春，帝御延和殿召见，敕乘马至殿门，命内侍取兀子舆以前。夷简引避久之，诏给扶毋拜。乃授司徒、监修国史，军国大事与中书、枢密同议。固请老，以太尉致仕，朝朔望。既薨，帝见群臣，涕下，曰："安得忧国忘身如夷简者！"赠太师、中书令，谥文靖。
自仁宗初立，太后临朝十余年，天下晏然，夷简之力为多。其后元昊反，四方久不用兵，师出数败；契丹乘之，遣使求关南地。颇赖夷简计画，选一时名臣报使契丹、经略西夏，二边以宁。然建募万胜军，杂市井小人，浮脆不任战斗。用宗室补环卫官，骤增奉赐，又加遗契丹岁缯金二十万，当时不深计之，其后费大而不可止。郭后废，孔道辅等伏阁进谏，而夷简谓伏阁非太平事，且逐道辅。其后范仲淹屡言事，献《百官图》论迁除之敝，夷简指为狂肆，斥于外。时论以此少之。
夷简当国柄最久，虽数为言者所诋，帝眷倚不衰。然所斥士，旋复收用，亦不终废。其于天下事，屈伸舒卷，动有操术。后配食仁宗庙，为世名相。始，王旦奇夷简，谓王曾曰："君其善交之。"卒与曾并相。后曾家请御篆墓碑，帝因惨然思夷简，书"怀忠之碑"四字以赐之。有集二十卷。
子公绰、公弼、公著、公孺。公著自有传。
公绰字仲裕，荫补将作监丞、知陈留县。天圣中，为馆阁对读。召试，直集贤院，辞，改校理，迁太子中允。夷简罢相，复为直集贤院、同管勾国子监，出知郑州。尝问民疾苦，父老曰："官籍民产，第赋役重轻，至不敢多畜牛，田畴久芜秽。"公绰为奏之，自是牛不入籍。还判吏部南曹，累迁太常博士、同判太常寺。请复太医局，及请设令、丞、府史如天官医师。钧容直假太常旌纛、羽籥，为优人戏，公绰执不可，遂罢之。纠察在京刑狱。虎翼卒刘庆告变，下吏案验，乃庆始谋，众不从，庆反诬众以邀赏。因言："京师卫兵百万，不痛惩之，则众心摇。"遂斩庆以徇。迁尚书工部员外郎，为史馆修撰。
时夷简虽谢事，犹领国史，公绰辞修撰。夷简薨，还兵部员外郎，复为修撰。服除，复同判太常寺兼提举修祭器。公绰以郊庙祭器未完，制度多违礼，请悉更造。故事，荐新诸物，礼官议定乃荐，或后时陈败。公绰采《月令》诸书，以四时新物及所当荐者，配合为图。又以岁大、中、小祠凡六十一，禘祫二，祼献兴俯，玉帛尊彝，菁茆醓醢，钟石歌奏，集为《郊祀总仪》上之。又言："古者，天地、宗庙、日月、五方、百神之祀，咸有尊罍，五齐三酒，分实其中，加明水、明酒，以达阴阳之气。今有司徒设尊罍，而酌用一尊，非礼神之意。宜按《周礼》实齐酒，取火于日，取水于月，因天地之洁气。"又言："祖宗配郊，当正位，今侧乡之，非所以示尊严也。"初，谥诸后，皆系祖宗谥，而真宗五后独曰"庄"。公绰曰："妇人从夫之谥，真宗谥章圣，而后曰'庄'，非礼也，愿更为'章'。"多施行之。
历知制诰、龙图阁直学士、集贤殿修撰、知永兴军，改枢密直学士、知秦州。安远砦、古渭州诸羌来献地，公绰顾其属曰："天下之大，岂利区落尺寸地以为广邪？"却之。弓箭手马多阙，公绰谕诸砦户为三等，凡十丁为社，至秋成，募出金帛市马，马少，则先后给之。祀明堂，迁刑部郎中，召为龙图阁学士、权知开封府。岁余，愿罢府事，进翰林侍读学士、知审刑院兼判太常寺。
初，公绰在开封府，宰相庞籍外属道士赵清贶受赂，杖脊道死。至是，御史以为公绰受籍旨，杖杀清贶以灭口，左迁龙图阁学士、知徐州。方杖清贶时，实非公绰所临。顷之，公绰亦自辨，复侍读学士，徙河阳，留侍经筵。时久不雨，帝顾问："何以致雨？"曰："狱久不决，即有冤者，故多旱。"帝亲虑囚，已而大雨。迁右司郎中，未拜，卒。赠左谏议大夫。