其年，太子承乾得罪，太宗欲立晋王，而限以非次，回惑不决。御两仪殿，群官尽出，独留无忌及司空房玄龄、兵部尚书李勣，谓曰："我三子一弟，所为如此，我心无憀。"因自投于床，抽佩刀欲自刺。无忌等惊惧，争前扶抱，取佩刀以授晋王。无忌等请太宗所欲，报曰："我欲立晋王。"无忌曰："谨奉诏。有异议者，臣请斩之。"太宗谓晋王曰："汝舅许汝，宜拜谢。"晋王因下拜。太宗谓无忌等曰："公等既符我意，未知物论何如？"无忌曰："晋王仁孝，天下属心久矣。伏乞召问百僚，必无异辞。若不蹈舞同音，臣负陛下万死。"于是建立遂定，因加授无忌太子太师。寻而太宗又欲立吴王恪，无忌密争之，其事遂辍。太宗尝谓无忌等曰："朕闻主贤则臣直，人苦不自知，公宜面论，攻朕得失。"无忌奏言："陛下武功文德，跨绝古今，发号施令，事皆利物。《孝经》云：'将顺其美。'臣顺之不暇，实不见陛下有所愆失。"太宗曰："朕冀闻己过，公乃妄相谀悦。朕今面谈公等得失，以为鉴诫。言之者可以无过，闻之者可以自改。"因目无忌曰："善避嫌疑，应对敏速，求之古人，亦当无比；而总兵攻战，非所长也。高士廉涉猎古今，心术聪悟，临难既不改节，为官亦无朋党；所少者骨鲠规谏耳。唐俭言辞便利，善和解人，酒杯流行，发言启齿；事朕三十载，遂无一言论国家得失。杨师道性行纯善，自无愆过；而情实怯懦，未甚任事，缓急不可得力。岑文本性道敦厚，文章是其所长；而持论常据经远，自当不负于物。刘洎性最坚贞，言多利益；然其意上然诺于朋友，能自补阙，亦何以尚。马周见事敏速，性甚贞正，至于论量人物，直道而行，朕比任使，多所称意。褚遂良学问稍长，性亦坚正，既写忠诚，甚亲附于朕，譬如飞鸟依人，自加怜爱。"十九年，太宗征高丽，令无忌摄侍中。还，无忌固辞师傅之位，优诏听罢太子太师。二十一年，遥领扬州都督。二十三年，太宗疾笃，引无忌及中书令褚遂良二人受遗令辅政。太宗谓遂良曰："无忌尽忠于我，我有天下，多是此人力。尔辅政后，勿令谗毁之徒损害无忌。若如此者，尔则非复人臣。"
高宗即位，进拜太尉，兼扬州都督，知尚书及门下二省事并如故。无忌固辞知尚书省事，许之，仍令以太尉同中书门下三品。永徽二年，监修国史。高宗尝谓公卿："朕开献书之路，冀有意见可录，将擢用之。比者上疏虽多，而遂无可采者。"无忌对曰："陛下即位，政化流行，条式律令，固无遗阙。言事者率其鄙见，妄希侥幸，至于裨俗益教，理当无足可取。然须开此路，犹冀时有谠言，如或杜绝，便恐下情不达。"帝曰："又闻所在官司，犹自多有颜面。"无忌曰："颜面阿私，自古不免。然圣化所渐，人皆向公，至于肆情曲法，实谓必无此事。小小收取人情，恐陛下尚亦不免，况臣下私其亲戚，岂敢顿言绝无？"时无忌位当元舅，数进谋议，高宗无不优纳之。明年，以旱上疏辞职，高宗频降手诏敦喻不许。五年，亲幸无忌第，见其三子，并擢授朝散大夫。又命图无忌形像，亲为画赞以赐之。六年，帝将立昭仪武氏为皇后，无忌屡言不可，帝乃密遣使赐无忌金银宝器各一车、绫锦十车，以悦其意。昭仪母杨氏复自诣无忌宅，屡加祈请。时礼部尚书许敬宗又屡申劝请，无忌尝厉色折之。帝后又召无忌、左仆射于志宁、右仆射褚遂良，谓曰："武昭仪有令德，朕欲立为皇后，卿等以为如何？"无忌曰："自贞观二十三年后，先朝付托遂良，望陛下问其可否。"帝竟不从无忌等言而立昭仪为皇后。皇后以无忌先受重赏而不助己，心甚衔之。显庆元年，无忌与史官国子祭酒令狐德棻缀集武德、贞观二朝史为八十卷，表上之，无忌以监领功，赐物二千段，封其子润为金城县子。四年，中书令许敬宗遣人上封事，称监察御史李巢与无忌交通谋反，帝令敬宗与侍中辛茂将鞠之。敬宗奏言无忌谋反有端，帝曰："我家不幸，亲戚中频有恶事。高阳公主与朕同气，往年遂与房遗爱谋反，今阿舅复作恶心。近亲如此，使我惭见万姓。"敬宗曰："房遗爱乳臭儿，与女子谋反，岂得成事？且无忌与先朝谋取天下，众人服其智，作宰相三十年，百姓畏其威，可谓威能服物，智能动众。臣恐无忌知事露，即为急计，攘袂一呼，啸命同恶，必为宗庙深忧。诚愿陛下断之，不日即收捕，准法破家。"帝泣曰："我决不忍处分与罪，后代良史道我不能和其亲戚，使至于此。"敬宗曰："汉文帝汉室明主，薄昭即是帝舅，从代来日，亦有大勋，与无忌不别。于后惟坐杀人，文帝惜国之法，令朝臣丧服就宅，哭而杀之，良史不以为失。今无忌忘先朝之大德，舍陛下之至亲，听受邪谋，遂怀悖逆，意在涂炭生灵。若比薄昭罪恶，未可同年而语，案诸刑典，合诛五族。臣闻当断不断，反受其乱，大机之事，间不容发，若少迟延，恐即生变，惟请早决！"帝竟不亲问无忌谋反所由，惟听敬宗诬构之说，遂去其官爵，流黔州，仍遣使发次州府兵援送至流所。其子秘书监、驸马都尉冲等并除名，流于岭外。敬宗寻与吏部尚书李义府遣大理正袁公瑜就黔州重鞫无忌反状，公瑜逼令自缢而死，籍没其家。无忌既有大功，而死非其罪，天下至今哀之。上元元年，优诏追复无忌官爵，特令无忌孙延主齐献公之祀。无忌从父兄安世，仕王世充，署为内史令，东都平，死于狱中。安世子祥，以文德皇后近属，累除刑部尚书，坐与无忌通书见杀。
史臣曰：士廉才望素高，操秉无玷，保君臣终始之义，为子孙袭继之谋。社稷之臣，功亦隆矣；奖遇之恩，赏亦厚矣。及子真行，手刃其子，何凶忍也？若是积庆之道，不其惑哉！无忌戚里右族，英冠人杰，定立储闱，力安社稷，勋庸茂著，终始不渝。及黜废中宫，竟不阿旨，报先帝之顾托，为敬宗之诬构。嗟乎！忠信获罪，今古不免；无名受戮，族灭何辜！主暗臣奸，足贻后代。
赞曰：严严申公，功名始终。文皇题品，信谓酌中。赵公右戚，两朝宣力。功成不去，竟逢鬼域。