六年，还朝，命直经筵日讲。韬自以南音力辞日讲，请撰《古今政要》及《诗书直解》以进。帝褒许之。其年九月迁詹事兼翰林学士，韬复固辞，言：“自杨荣、杨士奇、杨溥以及李东阳、杨廷和颛权植党，笼翰林为属官，中书为门吏，故翰林迁擢不由吏部，而中书至有进秩尚书者。臣尝建议，谓翰林去留，尽属吏部，庶不阴倚内阁为腹心，内阁亦不阴结翰林为羽翼。且欲京官补外以均劳逸，议未即行，躬自蹈之，而又躐居学士徐缙上，何愧如之。”帝优诏不允。明年四月进礼部右侍郎。韬力辞，且举康海、王九思、李梦阳、魏校、颜木、王廷陈、何瑭自代，帝不允。再辞，乃允之。
六月，“大礼”成，超拜礼部尚书，掌詹事府事。韬因言翰林院修书迁官、日讲荫子、及巡抚子弟荫武职之非，而以为己不能力挽，不可随众趋。且称给事中陈洸冤，荐监生陈云章才可用。帝优诏褒答，不允辞。韬复奏曰：“今异议者谓陛下特欲尊崇皇考，遂以官爵饵其臣，臣等二三臣苟图官爵，遂阿顺陛下之意。臣尝自慨，若得礼定，决不受官，俾天下万世知议礼者非利官也。苟疑议礼者为利官，则所议虽是，彼犹以为非，何以塞天下口？”因固辞不拜，帝犹不允。三辞，乃允之。
韬先后荐王守仁、王琼诸人，帝皆纳用。尝因灾异陈时弊十余事，多议行。张璁、桂萼之罢政也，韬谓言官陆粲等受杨一清指使，两疏力攻一清，夺其职，而璁、萼召还。帝从夏言议，将分祀天地，建二郊，韬极言其非。帝不悦，责韬罔上自恣。言亦疏辨，力诋韬。韬素护前自遂，见帝怒，不敢辨，乃遗言书，痛诋之，复录其书送法司。言怒，疏陈其状，且劾韬无君七罪，并以其书进呈。帝大怒，责韬谤讪君上，丑正怀邪，遂下都察院狱。韬从狱中上书祈哀，璁亦再申救，帝皆不纳。南京御史邓文宪言，宜察韬心，容其戆，且天地分祀是置父母异处，郊外亲蚕是废内外防闲。帝怒，谪之边方。韬系狱逾月，帝终念其议礼功，令输赎还职。寻以母丧归。广东佥事龚大稔讦韬及方献夫居乡不法事，大稔反被逮削籍。
十二年，韬起历吏部左、右侍郎。时部事多主于尚书，两侍郎率不预。韬争于尚书汪鋐，侍郎始获参部事。韬素刚愎，屡与鋐争，鋐等亦严惮之。既而鋐罢，帝久不置尚书，以韬掌部事。阁臣李时传旨，用鸿胪卿王道中为顺天府丞。韬言：“辅臣承天语无可疑，然臣等犹当奏请，用杜矫伪。”因守故事，列道中及应天府丞郭登庸二人名上。帝嘉其守法，乃用登庸，而改道中大理少卿。久之，出韬为南京礼部尚书。
顺天府尹刘淑相坐所亲赃私被鞫，疑礼部尚书夏言姻通判费完陷之，讦言请属事。帝怒，下淑相诏狱。淑相与韬善，言亦疑韬主之，遂讦韬扈跸谒陵，远游银山寺大不敬。韬自诉，因论言：“请谥故少师费宏为文宪，不叙宏累被劾状，按律，增减紧关情节者斩。且‘宪’乃纯皇帝庙号，人臣安得用？”会南京给事中曾钧骑马，不避尚书刘龙、潘珍轿，龙与钧互讦奏。韬劾钧，且请禁小臣乘轿。给事中李充浊、曹迈等交章，言近侍之臣不当避道，杂举公会宴次得与尚书同列以证，语颇侵韬。韬疑充浊倚言为内主，讦充浊为奸党，复摭言他事。言益怒，奏韬大罪十余事。且言彭时、宋濂皆于正德间谥文宪，不避庙号，韬陋不知故事。帝方不直韬，淑相复从狱中摭言他事，帝益怒，考讯之。辞服韬主使，乃斥淑相为民，降韬俸一级。当议乘轿时，言被劾不预，都御史王廷相会礼部侍郎黄宗明、张璧请禁饬小臣如韬奏，而南京诸给事、御史自如。韬以为言，帝复申饬，众情滋不悦。曹迈及同官尹相等遂与韬忿争。相劾韬迁南部怨望；擅取海子鱼，与乡人群饮郊坛松下；侍郎袁宗儒期丧不当进表，逼使行。韬上疏自理。下廷议。帝为停韬俸四月，相等亦停二月。韬既与言交恶，及言柄用，韬每欲因事陷之。上言：“顷吏部选刘文光等为给事中，寻忽报罢，人皆曰阁臣抑之。给事中李鹤鸣考察谪官，寻复故，人皆曰贿得。宜谕吏部毋受当事颐指，使天下知威福出朝廷，而大臣有李林甫、秦桧者，不得播弄于左右。”其意为言发也。于是鹤鸣上疏自白，并摭韬居乡不法诸事。帝两置之。无何，韬劾南京御史龚湜、郭本。湜等自辨，亦劾韬。帝并置不问。
十八年简补宫僚，命韬以太子少保、礼部尚书协掌詹事府事。疏辞加秩，且诋大臣受禄不让，晋秩不辞，或有狐鼠钻结，阴固宠权，怨气召灾。实有所自。其意亦为言发。既屡击言不胜，最后见郭勋与言有隙，乃阴比勋，与共齮龁言。时中外讹言帝复南幸，韬因显颂勋，言：“六飞南狩时，臣下多纳贿不法。文官惟袁宗儒，武官惟郭勋不受馈。今讹言复播，宜有以禁戢之。”帝既下诏安群情，乃诘韬曰：“朕昨南巡，卿不在行，受贿事得自何人？据实以奏。”韬对，请问诸郭勋。帝责其支词，务令指实。韬窘，乃言：“扈从诸臣无不受馈遗、折取夫隶直者，第问之夏言，令自述。至各官取贿实迹，勋具悉始末，当不欺。如必欲臣言，请假臣风宪职，循途按之，当备列以奏。”章下所司。韬惧不当帝旨，寻赴京，列所遇进鲜船内臣贪横状，帝亦不问。明年十月卒于官，年五十有四。赠太子太保，谥文敏。