明年，大计外吏。时乔已偕副都御史詹沂受事，居数日，帝忽命户部尚书赵世卿代时乔，遂中辍；盖去冬所批察疏，至是误发之也。辅臣朱赓谓非体，立言于帝。帝亦觉其误，即日收还。时乔坚辞不肯任，吏科陈治则劾其怨怼无人臣礼。有旨诘责，时乔乃再受事。永年伯王栋卒，其子明辅请袭。时乔以外戚不当传世，固争之，弗听。时一贯已罢，言路争击其党。而李廷机者，一贯教习门生也，阁臣阙，众多推之；惟给事中曹于汴、宋一韩、御史陈宗契持不可。时乔卒从众议。未几，又推黄汝良、全天叙为侍郎，诸攻一贯者益不悦。给事中王元翰、胡忻遂交劾时乔。时乔疏辨，力求罢。
当是时，帝委时乔铨柄，又不置右侍郎，一人独理部事，铨叙平允。然堂陛扞格，旷官废事，日甚一日，而中朝议论方嚣，动见掣肘。时乔官位未崇，又自温纯去，久不置都御史，益无以镇厌百僚。由是上下相凌，纪纲日紊，言路得收其柄。时乔亦多委蛇，议者谅其苦心，不甚咎也。秉铨凡五年。最后起故尚书孙丕扬。未至，而时乔已卒。箧余一敝裘，同列赙襚以殓。诏赠吏部尚书，谥端洁。
时乔受业永丰吕怀，最不喜王守仁之学，辟之甚力，尤恶罗汝芳。官通政时具疏斥之曰：“佛氏之学，初不溷于儒。乃汝芳假圣贤仁义心性之言，倡为见性成佛之教，谓吾学直捷，不假修为。于是以传注为支离，以经书为糟粕，以躬行实践为迂腐，以纲纪法度为桎梏。逾闲荡检，反道乱德，莫此为甚。望敕所司明禁，用彰风教。”诏从其言。
赞曰：古者冢宰统百官，均四海，即宰相之任也。后代政柄始分，至明中叶，旁挠者众矣。严清诸人，清公素履，秉正无亏，彼岂以进退得失动其心哉。孙丕扬创掣签法，虽不能辨材任官，要之无任心营私之弊，苟非其人，毋宁任法之为愈乎！盖与时宜之，未可援古义以相难也。