几年后，玄成被朝廷征召为未央宫的卫尉，升迁为太常。因为与原来的平通侯杨惮关系很好，杨惮被杀，他的同党和朋友都被免去官职。后来又因为列侯陪同祭祀孝惠帝庙，应当在早晨入庙，因为天下雨形成了水坑，他们没有坐四马拉的车，而是骑马到了宗庙。主管官员上书弹劾，与韦玄成同辈的几个王侯都因此被削爵为关内侯。玄成因为自己犯错而致使父亲的爵位被削而十分难过，叹息道：“我有什么脸面主持祖庙的祭祀！”写了诗自己责备自己，诗裹说： 光彩荣耀的我们的祖先，自豕韦氏开始封侯，受命称伯，辅佐殷商得以安定。功绩昭著，朝廷赐给礼服车仗；到商朝都城去朝拜，四匹马儿跑的真快。他们的美德昭扬，影响教育了后代；从宗周到汉朝，历代封侯。庄严的楚国王傅我的先辈，辅佐元王和夷王；车马都有常例，他对此十分谨慎敬重。后来的戊王荒淫无道，我的祖先迁到丁 邹地；遣之后五代没有人做官，一直到节侯我的父亲。
我的父亲节侯，美德令名远扬；佐助昭帝、宣帝，从五方面训导他们。年老时他辞官归家，仪容壮美；朝廷的赏赐人员来来往往，许多金银抬到家馆。被封国在扶阳，是在京城的柬面；皇帝常常留在那裹，听取采纳时政的建议谋划。顺顺当当六匹马的缰绳，十分有条理；雄威的仪仗十分整齐，去朝拜天子。天子肃穆庄严，把他当作老师；远近四方的人们，都敬仰我们封国的荣耀。祖先封地的继承，应当是我那英俊的长兄；可我那英俊的长兄，却一再谦让来把仁义表明。多么美啊他的品德，多么响亮他的名声；祖先官爵遗留给我，我于是留在了京城。可是卑小的我呀，却对重大朝会不慎敬；礼服车仗懒散混乱，才被朝廷黜为附庸。
光耀尊显的爵位，让我给丢失了；卑微的附庸地位，从我开始招致。谁能够忍受这么大的羞耻？把你的脸面借给我一下；谁要去遥远的地方旅行？让我跟他一起去那蛮荒之地。荣耀的三公，不是俊才不能担任；我虽然卑微，最终一定要坐到那样的高位。谁说华山高？我希望与它一样高；谁说修德艰难？通过努力希望我能达到。哎呀小小的我呀，再也不能犯这样的过错；毁坏了自己的美名，我说了这些伤心话。各地的诸侯王啊，要以我为鉴；礼服车仗要威严整齐，步履要严肃端庄。当初，宣帝的宠姬张婕妤生的儿子淮阳宪王喜欢处理国家政务，通晓法律，皇帝欣赏他的才干，有意要立他做继承人；然而又因为太子生于贫贱，又早早地失去了母亲，所以不忍心废太子。过了许久，宣帝想从侧面感化宪王，使他明白，便想让懂礼节知辞让的人辅佐他，于是就召来韦玄成，拜他为淮阳中尉。这时宪王还没有到自己的封国就职，玄成接受韶令，与太子太傅萧望之以及治《五经》的儒士们在石渠合讨论经书的异同之处，写成条目奏对皇上的询问。等到元帝即位后，任命玄成做少府，升迁为太子太傅，后来做到了御史大夫。永光年间，韦玄成代替于定国做了丞相。韦玄成被贬十年左右，就继而做了父亲原来做遇的丞相的官位，又在原来的封国被封侯，荣耀于当世。玄成就又写了诗，自己表述从错误中奋起的艰难，以此来训诫子孙，诗中说：肃穆的君子，行为端重以修好自己的美德，礼仪服饰恭敬对待，整整齐齐可做楷模。哎，微贱的我，德行赶不上他们；曾因为礼服车仗之事荒疏，被削夺了爵位。圣明的天子，美德昭著；没有最终抛弃我，让我位列九卿。我蒙皇帝这样的恩遇，便日夜小心；告诫自己要自我约束，做官为政不能怠慢。天子明察我的情况，提拔我做丞相位列三公；考虑到我为以前的犯过失爵而伤感，又恢复了我原来的爵位。我登上了官位后，看着原来的旧台阶和房子；我先父曾住在这裹的房宅，回想起来使我十分怀念伤心。丞相司直和帮助治理政事的人，协助得很好使我事业兴盛；公卿百官，都来向我祝贺。哎呀这些官吏，与我的心思真不一样；三公之事多么艰难，没有人肯同情我。盛大的三公之事，我的精力虽然都花费在上边了，但恐怕不是我能长居的官位，不知那一天就会被贬退。以前我被削官夺爵时，害怕不能做到这样的高位；现在我做了丞相，却十分担忧恐惧。哎呀我的后代们，要知道天命无常啊；想办法好好做你们的官，处理政务不要荒怠。对朝会大事要慎重，礼服车仗之事要注意，不要仪表不成体统，好好保存自己的封地。你们不要看着我跟我学，像我那样不慎重不齐整；我官位的恢复，是上天赐福。哎呀后辈们，要小心慎重。不要玷污了你们光荣的祖先，来保护汉王朝！韦玄成做丞相七年，在操守端重稳当方面不如他父亲韦贤，而文采超过了父亲。建昭三年韦玄成死去，谧号为共侯。当初，韦贤在昭帝年间迁到平陵，韦玄成另迁居杜陵，玄成病得快要死了，派使者向朝廷表白自己的意思，他说：“我忍受不了父子恩深却分葬两地，希望皇上能准许我辞官，回去与父亲葬在一起。”皇帝答应了他的请求。
他的儿子顷侯韦宽继承了爵位。韦宽死后，他的儿子僖侯韦育继承了爵位。韦育死后，他的儿子节侯韦沈继立。韦贤的封国一直传到玄孙才断绝。韦玄成的哥哥高寝县令韦方山的儿子
韦安世从郡守一直做到大鸿胪、长乐宫卫尉，朝廷称赞他有宰相的才干，可是他却不巧得病死去了。束海太守韦弘的儿子韦赏也通晓《诗经》。哀帝做定陶王的时候，韦赏做过他的太傅。哀帝即位后，韦赏因为曾做哀帝老师的旧恩情，做了大司马车骑将军，位列三公，赏给他关内侯的爵位，食邑有一千户，也活到八十多岁，终其天年。韦氏家族中做到二千石官位的有十多人。
当初，在高祖的时候，命令各诸侯王在自己的都城中都要建立太上皇庙。到惠帝时，把高帝庙尊奉为太祖庙；景帝时把孝文庙尊奉为太宗庙，命令在皇帝所在的地方、曾经去过的那些郡国都要建立太祖、太宗庙。到了宣帝本始二年，又把孝武庙尊奉为世宗庙，皇帝所在的地方和曾巡幸的地方也要建立世宗庙。在六十八个诸侯国中，供奉漠室祖先的庙共有一百六十七所。而在京城，从高祖以下到宣帝，与太上皇、悼皇考一起，各自在陵墓旁建庙，合在一起共有一百七十六所。另外园陵中又分别有正殿与偏殿。每曰在陵寝正殿进行祭祀，每月一次在宗庙进行祭祀，不时地在偏殿也进行祭祀。陵寝正殿的祭祀，每日上供祭食四次；宗庙每年祭祀二十五次；偏殿一年祭祀四次。并且每月一次抬着先皇帝的衣冠在陵寝与祭庙之间出游。而昭灵后、武哀王、昭哀后、孝文太后、孝昭太后、卫思后、戾太子、戾后也分别都有陵寝园邑，与先皇帝们的祭庙陵园合在一起，共有三十所。每年的祭祀活动，负责上供祭食的人要用二万四千四百五十五个，用卫士四万五千一百二十九人，用男巫、宰人、乐人一万二千一百四十七人，负责饲养用于祭祀的牲畜的人员还不算在数内。