慈庆、慈宁两宫宴驾，勋尝请改其一居太子。言不可，合帝意。至是帝猝问太子当何居，言忘前语，念兴作费烦，对如勋指。帝不悦。又疑言官劾勋出言意。及建大享殿，命中官高忠监视，言不进敕稿。入直西苑诸臣，帝皆令乘马，又赐香叶束发巾，用皮帛为履。言谓非人臣法服，不受，又独乘腰舆。帝积数憾欲去言，而严嵩因得间之。嵩与言同乡，称先达，事言甚谨。言入阁援嵩自代，以门客畜之，嵩心恨甚。言既失帝意，嵩日以柔佞宠。言惧斥，呼嵩与谋。嵩则已潜造陶仲文第，谋齮言代其位。言知甚愠，讽言官屡劾嵩。帝方怜嵩不听也，两人遂大郄。六月，嵩燕见，顿首雨泣，诉言见凌状。帝使悉陈言罪，嵩因振暴其短。帝大怒，手敕礼部，历数言罪，且曰：“郭勋已下狱，犹千罗百织。言官为朝廷耳目，专听言主使。朕不早朝，言亦不入阁。军国重事，取裁私家。王言要密，视等戏玩。言官不一言，徒欺谤君上，致神鬼怒，雨甚伤禾。”言大惧，请罪。居十余日，献帝讳辰，犹召入拜，候直西苑。言因谢恩乞骸骨，语极哀。疏留八日，会七月朔日食既，下手诏曰：“日食过分，正坐下慢上之咎，其落言职闲住。”帝又自引三失，布告天下。御史乔佑、给事中沈良才等皆具疏论言，且请罪。帝大怒，贬黜十三人。高时以劾勋故，独谪远边。于是严嵩遂代言入阁。
言久贵用事，家富厚，服用豪侈，多通问遗。久之不召，监司府县吏亦稍慢易之，悒悒不乐。遇元旦、圣寿必上表贺，称“草土臣”。帝亦渐怜之，复尚书、大学士。至二十四年，帝微觉嵩贪恣，复思言，遣官赍敕召还，尽复少师诸官阶，亦加嵩少师，若与言并者。言至，直陵嵩出其上。凡所批答，略不顾嵩，嵩噤不敢吐一语。所引用私人，言斥逐之，亦不敢救，衔次骨。海内士大夫方怨嵩贪忮，谓言能压嵩制其命，深以为快。而言以废弃久，务张权。文选郎高简之戍，唐龙、许成名、崔桐、王用宾、黄佐之罢，王杲、王暐、孙继鲁之狱，皆言主之。贵州巡抚王学益、山东巡抚何鳌为言官论劾，辄拟旨逮讯。龙故与嵩善，暐事牵世蕃，其他所谴逐不尽当，朝士仄目。最后御史陈其学以盐法事劾崔元及锦衣都督陆炳，言拟旨令陈状，皆造言请死，炳长跪乃得解。二人与嵩比而构言，言未之悟也。帝数使小内竖诣言所，言负气岸，奴视之；嵩必延坐，亲纳金钱袖中。以故日誉嵩而短言。言进青词往往失帝旨，嵩闻益精治其事。
未几，河套议起。言故慷慨以经济自许，思建立不世功。因陕西总督曾铣请复河套，赞决之。嵩与元、炳媒孽其间，竟以此败。江都人苏纲者，言继妻父也，雅与铣善。铣方请复河套，纲亟称于言。言倚铣可办，密疏荐之，谓群臣无如铣忠者。帝令言拟旨，优奖之者再。铣喜，益锐意出师。帝忽降旨诘责，语甚厉。嵩揣知帝意，遂力言河套不可复，语侵言。言始大惧，谢罪，且言“嵩未尝异议，今乃尽诿于臣”。帝责言“强君胁众”，嵩复腾疏攻言，言亦力辨。而帝已入嵩谮，怒不可解。二十七年正月尽夺言官阶，以尚书致仕，犹无意杀之也。会有蜚语闻禁中，谓言去时怨谤。嵩复代仇鸾草奏讦言纳铣金，交关为奸利，事连苏纲，遂下铣、纲诏狱。嵩与元、炳谋，坐铣交结近侍律斩，纲戍边，遣官校逮言。言抵通州，闻铣所坐，大惊堕车曰：“噫！吾死矣。”再疏讼冤，言：“鸾方就逮，上降谕不两日，鸾何以知上语，又何知嵩疏而附丽若此？盖嵩与崔元辈诈为之以倾臣。嵩静言庸违似共工，谦恭下士似王莽，奸巧弄权、父子专政似司马懿。在内诸臣受其牢笼，知有嵩不知有陛下。在外诸臣受其箝制，亦知有嵩不知有陛下。臣生死系嵩掌握，惟归命圣慈，曲赐保全。”帝不省。狱成，刑部尚书喻茂坚、左都御史屠侨等当言死，援议贵议能条以上。帝不从，切责茂坚等，夺其俸，犹及言前不戴香冠事。其年十月竟弃言市。妻苏流广西，从子主事克承、从孙尚宝丞朝庆，削籍为民。言死时年六十有七。
言豪迈有俊才，纵横辨博，人莫能屈。既受特眷，揣帝意不欲臣下党比，遂日与诸议礼贵人抗。帝以为不党，遇益厚，然卒为严嵩所挤。言死，嵩祸及天下，久乃多惜言者。而言所推毂徐阶，后卒能去嵩为名相。隆庆初，其家上书白冤状，诏复其官，赐祭葬，谥文愍。言始无子。妾有身，妻忌而嫁之，生一子。言死，妻逆之归，貌甚类言。且得官矣，忽病死。言竟无后。
赞曰：璁、萼、献夫议尊兴献帝，本人子至情，故其说易入。原其初议未尝不准情礼之中，乃至遭时得君，动引议礼自固，务快恩仇。于是知其建议之心，非有惓惓忠爱之实，欲引其君于当道也。言所奏定典礼，亦多可采。而志骄气溢，卒为嵩所挤。究观诸人立身本末与所言是非，固两不相掩云。