阴阳占候人杜元纪为义府望气，云"所居宅有狱气，发积钱二千万乃可厌胜。"义府信之，聚敛更急切。义府居母服，有制朔望给哭假，义府辄微服与元纪凌晨共出城东，登古冢候望，哀礼都废。由是人皆言其窥觇灾眚，阴怀异图。义府又遣其子右司议郎津，召长孙无忌之孙延，谓曰："相为得一官，数日诏书当出。"居五日，果授延司津监，乃取延钱七百贯。于是右金吾仓曹参军杨行颖表言义府罪状，制下司刑太常伯刘祥道与侍御详刑对推其事，仍令司空李勣监焉。按皆有实，乃下制曰："右相、行殷王府长史、河间郡公李义府，泄禁中之语，鬻宠授之朝恩；交占候之人，轻朔望之哀礼。蓄邪黩货，实玷衣冠；稔恶嫉贤，载亏政道。特以任使多年，未忍便加重罚，宜从遐弃，以肃朝伦。可除名长流巂州。其子太子右司议郎津，专恃权门，罕怀忌惮，奸淫是务，贿赂无厌，交游非所，潜报机密，亦宜明罚，屏迹荒裔。可除名长流振州。"义府次子率府长史洽、千牛备身洋、子婿少府主簿柳元贞等，皆凭恃受赃，并除名长流延州。朝野莫不称庆，时人为之语曰："今日巨唐年，还诛四凶族。"四凶者，谓洽及柳元贞等四人也。或作《河间道行军元帅刘祥道破铜山大贼李义府露布》，榜之通衢。义府先多取人奴婢，及败，一时奔散，各归其家。《露布》称"混奴婢而乱放，各识家而竞入"者，谓此也。乾封元年，大赦，长流人不许还，义府忧愤发疾卒，年五十余。文集三十卷，传于代；又著《宦游记》二十卷，寻亡失。自义府流放后，朝士常忧惧，恐其复来，及闻其死，于是始安。
上元元年，大赦，义府妻子得还洛阳。如意元年，则天以义府与许敬宗、御史大夫崔义玄、中书舍人王德俭、大理正侯善业、大理丞袁公瑜等六人，在永徽中有翊赞之功，追赠义府扬州大都督，义玄益州大都督，德俭魏州刺史，公瑜江州刺史。长安元年，又赐义府子左千牛卫将军湛及敬宗诸子实封各三百户，义玄子司宾卿基、德俭子殿中监璇实封各二百五十户，善业子太子右庶子知一、公瑜子殿中丞忠臣实封各二百户。睿宗即位，景云元年，并停义府等六家实封。
义府少子湛，年六岁时，以父贵授周王文学。神龙初，累迁右散骑常侍，袭封河间郡公。时凤阁侍郎张柬之将诛张易之兄弟，遂引湛为左羽林将军，令与敬晖等启请皇太子，备陈将诛易之兄弟意，太子许之。及兵发，湛与右羽林大将军李多祚等诣东宫迎皇太子，拒而不时出，湛进启曰："逆竖反道乱常，将图不轨，宗社危败，实在须臾。湛等诸将与南衙执事克期诛翦，伏愿殿下暂至玄武门，以副众望。"太子曰："凶竖悖乱，诚合诛夷，然圣躬不豫，虑有惊动。公等且止，以俟后图。"湛曰："诸将弃家族，共宰相同心戮力，匡辅社稷，殿下奈何不哀其恳诚而欲陷之鼎镬？湛等微命，虽不足惜，殿下速出自止遏。"太子乃驰马就路。湛从至玄武门，斩关而入，率所部兵直至则天所寝长生殿，环绕侍卫。因奏："臣等奉令诛逆贼易之、昌宗，恐有漏泄，遂不获预奏，辄陈兵禁掖，是臣等死罪。"则天谓湛曰："卿亦是诛易之军将耶？我于汝父子恩不少，何至是也！"则天移就上阳宫，因留湛宿卫。中宗即位，拜右羽林大将军，进封赵国公，加实封通前满五百户。顷之，复授左散骑常侍，累转左领军卫大将军。开元初卒。崔义玄别有传。
史臣曰：许高阳武德之际，已为文皇入馆之宾，垂三十年，位不过列曹尹；而马周、刘洎起羁旅徒步，六七年间，皆登宰执。考其行实，则高阳之文学宏奥，周、洎无以过之，然而太宗任遇相殊者，良以高阳才优而行薄故也。及属嗣君冲暗，嬖妾奸邪，阿附豺狼，窥图权轴，人之凶险，一至于斯。仲尼所谓"虽有周公之才，不足观也。"义府才思精密，所谓"猩猩能言"，鄙哉！
赞曰：贞观文士，高阳、河间。图形学馆，染翰书山。进身以笔，得位由奸。为虎傅翼，即又胡颜。