未几，帝入方士蓝道行言，有意去嵩。御史邹应龙避雨内侍家，知其事，抗疏极论嵩父子不法，曰：“臣言不实，乞斩臣首以谢嵩、世蕃。”帝降旨慰嵩，而以嵩溺爱世蕃，负眷倚，令致仕，驰驿归，有司岁给米百石，下世蕃于理。嵩为世蕃请罪，且求解，帝不听。法司奏论世蕃及其子锦衣鹄、鸿，客罗龙文，戍边远。诏从之，特宥鸿为民，使侍嵩，而锢其奴严年于狱，擢应龙通政司参议。时四十一年五月也。龙文官中书，交关为奸利，而年最黠恶，士大夫竞称萼山先生者也。
嵩既去，帝追念其赞玄功，意忽忽不乐，谕阶欲遂传位，退居西内，专祈长生。阶极陈河，帝曰：“卿等不欲，必皆奉君命，同辅玄修乃可。严嵩既退，其子世蕃已伏法，敢更言者，并应龙俱斩。”嵩知帝念己，乃赂帝左右，发道行阴事，系刑部，俾引阶。道行不承，坐论死，得释。嵩初归至南昌，值万寿节，使道士蓝田玉建醮铁柱宫。田玉善召鹤，嵩因取其符箓，并己祈鹤文上之，帝优诏褒答。嵩因言：“臣年八十有四，惟一子世蕃及孙鹄皆远戍，乞移便地就养，终臣余年。”不许。其明年，南京御史林润奏：“江洋巨盗多入逃军罗龙文、严世蕃家。龙文居深山，乘轩衣蟒，有负险不臣之志。世蕃得罪后，与龙文日诽谤时政。其治第役众四千，道路皆言两人通倭，变且不测。”诏下润逮捕，下法司论斩，皆伏诛，黜嵩及诸孙皆为民。嵩窃政二十年，溺信恶子，流毒天下，人咸指目为奸臣。其坐世蕃大逆，则徐阶意也。又二年，嵩老病，寄食墓舍以死。
世蕃，短项肥体，眇一目，由父任入仕。以筑京师外城劳，由太常卿进工部左侍郎，仍掌尚宝司事。剽悍阴贼，席父宠，招权利无厌。然颇通国典，晓畅时务。尝谓天下才，惟己与陆炳、杨博为三。炳死，益自负。嵩耄昏，且旦夕直西内，诸司白事，辄曰：“以质东楼。”东楼，世蕃别号也。朝事一委世蕃，九卿以下浃日不得见，或停至暮而遣之。士大夫侧目屏息，不肖者奔走其门，筐篚相望于道。世蕃熟谙中外官饶瘠险易，责贿多寡，毫发不能匿。其治第京师，连三四坊，堰水为塘数十亩，罗珍禽奇树其中，日拥宾客纵倡乐，虽大僚或父执，虐之酒，不困不已。居母丧亦然。好古尊彝、奇器、书画，赵文华、鄢懋卿、胡宗宪之属，所到辄辇致之，或索之富人，必得然后已。被应龙劾戍雷州，未至而返，益大治园亭。其监工奴见袁州推官郭谏臣，不为起。
御史林润尝劾懋卿，惧相报，因与谏臣谋发其罪，且及冤杀杨继盛、沈练状。世蕃喜，谓其党曰：“无恐，狱且解。”法司黄光升等以谳词白徐阶，阶曰：“诸公欲生之乎？”佥曰：必欲死之。”曰：“若是，适所以生之也。夫杨、沈之狱，嵩皆巧取上旨。今显及之，是彰上过也。必如是，诸君且不测，严公子骑款段出都门矣。”为手削其草，独按龙文与汪直姻旧，为交通贿世蕃乞官。世蕃用彭孔言，以南昌仓地有王气，取以治第，制拟王者。又结宗人典楧阴伺非常，多聚亡命。龙文又招直余党五百人，谋为世蕃外投日本，先所发遣世蕃班头牛信，亦自山海卫弃伍北走，诱致外兵，共相响应。即日令光升等疾书奏之。世蕃闻，诧曰：“死矣。”遂斩于市。籍其家，黄金可三万余两，白金二百万余两，他珍宝服玩所直又数百万。
赵文华，慈谿人。嘉靖八年进士。授刑部主事。以考察谪东平州同知。久之，累官至通政使。性倾狡，未第时在国学，严嵩为祭酒，才之。后仕于朝，而嵩日贵幸，遂相与结为父子。嵩念己过恶多，得私人在通政，劾疏至，可预为计，故以文华任之。文华欲自结于帝，进百华仙酒，诡曰：“臣师嵩服之而寿。”帝饮甘之，手敕问嵩。嵩惊曰；“文华安得为此！”乃宛转奏曰：“臣生平不近药饵，犬马之寿诚不知何以然。”嵩恨文华不先白己，召至直所詈责之。文华跪泣，久不敢起。徐阶、李本见之为解，乃令去。嵩休沐归，九卿进谒，嵩犹怒文华，令从吏扶出之。文华大窘，厚赂嵩妻。嵩妻教文华伺嵩归，匿于别室，酒酣，嵩妻为之解，文华即出拜，嵩乃待之如初。以建议筑京师外城，加工部右侍郎。
东南倭患棘，文华献七事。首以祭海神为言，请遣官望祭于江阴、常熟。次讼有司掩骼轻徭。次增募水军。次苏、松、常、镇民田，一夫过百亩者，重科其赋，且预徵官田税三年。次募富人输财力自效，事宁论功。次遣重臣督师。次招通番旧党并海盐徒，易以忠义之名，令侦伺贼情，因以为间。兵部尚书聂豹议行其五事，惟增田赋、遣重臣二事不行。帝怒，夺豹官，而用嵩言即遣文华祭告海神，因察贼情。当是时，总督尚书张经方征四方及狼士兵，议大举，自以位文华上，心轻之。文华不悦。狼兵稍有斩获功，文华厚犒之，使进剿，至漕泾战败，亡头目十四人。文华恚，数趣经进兵。经虑文华轻浅泄师期，不以告。文华益怒，劾经养寇失机，疏方上，经大捷王江泾。文华攘其功，谓己与巡按胡宗宪督师所致，经竟论死。又劾浙江巡抚李天宠罪，荐宗宪代，天宠亦论死。帝益以文华为贤，命铸督察军务关防，即军中赐之。文华自此出总督上，益恣行无忌。欲分苏松巡抚曹邦辅浒墅关破贼功，不得，则以陶宅之败，重劾邦辅。陶宅之战，实文华、宗宪兵先溃也。兵科给事中夏栻得其情，劾文华欺诞。吏科给事中孙浚亦白邦辅冤状。帝终信文华言，邦辅坐遣戍。文华既杀经、天宠，复先后论罢总督周琉、杨宜，至是又倾邦辅，势益张。文武将吏争输货其门，颠倒功罪，牵制兵机，纪律大乖，将吏人人解体，征兵半天下，贼寇愈炽。文华又陈防守事宜，请籍闲田百万亩给兵，为屯守计，而令里居缙绅，分督郡邑兵事。为兵部所驳而寝。