后为礼部侍郎。陟好接后辈，尤鉴于文，虽辞人后生，靡不谙练。曩者主司取与，皆以一场之善，登其科目，不尽其才。陟先责旧，仍令举人自通所工诗笔，先试一日，知其所长，然后依常式考核，片善无遗，美声盈路。后为吏部侍郎，常病选人冒名接脚，阙员既少，取士良难，正调者被挤，伪集者冒进。陟刚肠嫉恶，风彩严正，选人疑其有瑕，案声盘诘，无不首伏。每岁皆赎得数百员阙，以待淹滞，常谓所亲曰："使陟知铨衡一二年，则无人可选矣。"
陟门地豪华，早践清列，侍儿阉阍，列侍左右者十数，衣书药食，咸有典掌，而舆马僮奴，势侔于王家主第。自以才地人物，坐取三公，颇以简贵自处，善诱纳后进，其同列朝要，视之蔑如也。如道义相知，靡隔贵贱，而布衣韦带之士，恒虚席倒屣以迎之，时人以此称重。
李林甫忌之，出为襄阳太守，兼本道采访使，又改陈留采访使，复加银青光禄大夫。天宝中袭封郇国公，以亲累贬钟离太守，重贬义阳太守。寻移河东太守，充本道采访使。
十二年入考，在华清宫。右相杨国忠恶其才望，恐践台衡，乃引河东人吴象之谓曰："子能使人告陟乎？吾以子为御史。"象之曰："能。"乃告陟与御史中丞吉温结托，欲谋陷朝廷，又诱陟侄韦元志证之。陟坐贬为桂州桂岭尉，未之任，再贬昭州平乐尉。
会禄山反，陷洛阳，陟爱弟斌为贼所得。国忠欲构陟与贼通应，潜令吏卒伺其所居，欲协之令陟忧死。其士豪人劝陟曰："昔张燕公窜逐，藏于陈氏，以免危亡。诏命傥来，谁敢申覆？未若轻舟千里，且泛溪洞，候事清徐出，岂不美也！"陟慨然应之曰："我积信于国朝，非一代也。况素所秉心，无负神理，命之合尔，其敢逃刑？燕公之谋，诚愧厚意，不能从也。"因谢遣之，乃坚卧不动。
经岁余，潼关失守，肃宗即位于灵武，起为吴郡太守，兼江南东道采访使。未到郡，肃宗使中官贾游严手诏追之。未至凤翔，会江东永王擅起兵，令陟招谕，除御史大夫，兼江东节度使。陟以季广琛从永王下江，非其本意，惧罪出奔，未有所适，乃有表请拜广琛为丹阳太守、兼御史中丞、缘江防御使，以安反侧。因与淮南节度使高适、淮西节度使来瑱等同至安州。陟谓适、瑱曰："今中原未复，江淮动摇，人心安危，实在兹日。若不齐盟质信，以示四方，令知三帅协心，万里同力，则难以集事矣。"陟推瑱为地主，乃为载书，登坛誓众曰："淮西节度使、兼御史大夫瑱，江东节度使、御史大夫陟，淮南节度使、御史大夫适等，衔国威命，各镇方隅，纠合三垂，翦除凶慝，好恶同之，无有异志。有渝此盟，坠命亡族。皇天后士，祖宗神明，实鉴斯言。"陟等辞旨慷慨，血泪俱下，三军感激，莫不陨泣。其后江表树碑以纪忠烈。
无何，有诏令陟赴行在。陟以广琛虽承恩命，犹且迟回，恐后变生，祸贻于陟，欲往招慰，然后赴征，乃发使上表，恳言其急。陟驰至历阳，见广琛，且宣恩旨，劳徕行赏，陟自以私马数匹赐之，安其疑惧。即日便赴行在，谒见肃宗，肃宗深器之，拜御史大夫。拾遗杜甫上表论房琯有大臣度，真宰相器，圣朝不容，辞旨迂诞，肃宗令崔光远与陟及宪部尚书颜真卿同讯之。陟因入奏曰："杜甫所论房琯事，虽被贬黜，不失谏臣大体。"上由此疏之。时朝臣立班多不整肃，至有班头相吊哭者，乃罢陟御史大夫，颜真卿代，授吏部尚书。自后任事宠臣，皆后来初用，望风畏忌，道竟不行。因宗人伐墓柏，坐不能禁，出为绛州刺史。乾元二年，入为太常卿。吕諲再入相，荐为礼部尚书、东京留守，判尚书省事，兼东京畿观察处置等使。逆贼史思明寇逼河洛，副元帅李光弼议守河阳，令陟率东京官属入关回避，乃令兵守陕州。有诏迁吏部尚书，留守如故，令止于永乐，不许至京，候光弼收复河洛，令陟依前居守。
陟早有台辅之望，间被李林甫、杨国忠所挤。及中原兵起，天下事殷，陟常自谓负经纬之器，遭后生腾谤，明主见疑，常郁郁不得志，乃叹曰："吾道穷于此乎，有志不伸，得非天命乎！"因遘疾，上元元年八月，卒于虢州，时年六十五，赠荆州大都督。永泰元年，诏曰："竭忠之臣，殁不废命，奉上之节，行固无私，言念饰终，抑惟恒典。故金紫光禄大夫、吏部尚书、兼御史大夫、充东京留守、兼判留司尚书省事、东京畿观察处置使、上柱国、郇国公韦陟，敦敏直方，端严峻整，弘敷典礼，表正人伦，学冠通儒，文含大雅。顷者询谟旧德，保厘成周，眷彼郊圻，资其慎固。而凶胡残丑，密迩河洛，命居陕、虢，时俟翦除。才加喉舌之荣，遽婴霜露之疾。方期克享眉寿，冀其有瘳，奄此殂殁，良深震悼。升车而复，以申三禭之恩；在牖加绅，宜崇八座之宠。可赠尚书左仆射。"太常博士程皓议谥为"忠孝"。刑部尚书颜真卿以为忠则以身许国，见危致命，孝则晨昏色养，取乐庭闱，不合二行殊难，以成"忠孝"。主客员外郎归崇敬又驳之，纷议不已。右仆射郭英乂不达其体，请从太常之状而奏。陟子允。