到元帝时，贡禹上书说：“古代的礼制天子有七庙就可以了，现在孝惠帝、孝景帝宗庙的直系亲人都已死光了，庙也该毁掉了。以及各诸侯国的宗庙不符合古代礼制的，也应该予以改正。”元帝赞成他的建议，还没来得及施行贡禹就死了。永光四年的时候，皇帝下诏让群臣议论撤销各诸侯国宗庙的事，韶书说：“我听说圣明的君王治理天下时，随着时代的变迁制定法令，随事件的不同采用不同的方法。以前的时候，天下刚刚平定，边远地方的人还没有臣服，因而先皇帝在亲自巡幸过的地方建立宗庙，那是为了树立威望，消除隐患，使人们统一到一个最高权威之下。现在托天地的威灵，靠祖宗的洪福，天下统一，边远民族臣服。后代君主长久地遵从先帝的礼制，没有改变，使得疏远卑贱的人们也能一起与皇族供奉圣严的宗庙，这大概不是上天和祖宗所希望的，所以我十分恐惧。《论语》上不是说过‘我不亲自参加祭祀，舆没有举行祭祀是一样的。，现在请将军、各诸侯王、中二千石的官员、二千石的官员、各位大夫、博士、议郎一起商议这事情。”丞相韦玄成、御史大夫郑弘、太子太傅严彭祖、少府欧阳地余、谏大夫尹更始等七十人一起回奏说：“我们听说，祭祀祖先不是由于外界的影响，而是从内心要这么做。所以衹有圣人才真正祭祀先帝，衹有孝子才能真正祭祀父亲。如果在京城皇帝您居住的地方建立宗庙，亲自主持祭祀，天下各地的官员都按照自己的职分带着祭品来助祭，这是崇奉先祖的要义，是五帝三王共同遵守的、永远不变的大道。《诗》中说：‘来助祭的人十分和静，来到后十分肃敬；助祭的人都是卿士、诸侯、天子主持祭祀十分肃穆庄严。，《春秋》大义，是不在旁支庶人家裹祭祀先父，不在大臣仆役家中祭祀先君，不在下边诸侯那裹祭祀先王。我们认为在各诸侯国的先帝宗庙不应该修建，我们请求不要再修建了。”大臣们的奏书得到皇帝许可。于是便撤销了昭灵后、武哀王、昭哀后、卫思后、戾太子、戾后的陵园，都不再进行祭祀，裁减了守陵的官吏士卒。
撤销了各诸侯国的宗庙一个多月后，皇帝又下诏说： “我听说圣明的君王制定礼仪，建立四个先帝的祭庙，祖宗的祭庙万世不毁，这是为了昭明尊敬祖宗，表明亲近父亲长辈。我继承祖宗重大的基业，衹因这重大的礼节没有完备，因而十分恐惧。我不敢自己专断，就这事与将军、诸侯、中二千石、二千石、各位大夫、博士一起商议。”韦玄成等四十四人议论后回奏说： “《礼》上说，受命于天的开国君王，最初受封的诸侯国的君主，都称为太祖。这以后的君王，死后建立的庙经过五代就相继拆毁，被毁的庙裹的神主收藏在太祖庙裹，五年之后举行大祭，叫做一次椅祭一次夹祭。夹祭就是把已毁庙的神主与没有毁庙的神主都收集到太祖庙裹受祭享，父辈为昭，子辈为穆，孙辈又为昭，这是古代正统的礼法。祭祀书上说： ‘君王敬祭自己祖先的父亲，让太祖的神主一起受祭，从而建立四个庙。’说的是最初受命于天而称王，祭祀上天时以自己的祖先配祭，而不为他建庙，是因为亲属关系疏远了。活着的皇帝建立四个祭庙，是为了表明亲敬父辈。亲属关系疏远了，庙也就相继拆毁，由亲慢慢降变为疏，是表示有终了。周代之所以建立七庙，是因为后稷最早受封建国，文王、武王受命于天而称王，所以为祭祀他们而建的三座庙一直不毁弃，与供奉高、曾、祖、补四座庙加在一起共有七座。不是有后稷最早受封建国，文王与武王受命于天称王那样功绩的，都应当在亲子孙死尽以后就把庙毁弃。周成王成就了像文王、武王那样的功业，制定礼仪音乐、功高德深，可是他的庙还不世代相传，祇按他的行为赠他相应的谧号而已。《礼记》上说，先帝的庙要修建在大门之内，是为了表示不敢疏远亲父。我们认为高皇帝受命于天，平定天下，应当建成为太祖庙，世世代代不毁弃，随后的皇帝亲子孙死尽了的都要毁弃祭庙。现在祖宗祭庙建在各处，不分昭穆次序，应当按礼仪规定把他们的神主都搬到太祖庙内，按昭穆次序排列。太上皇、孝惠帝、孝文帝、孝景帝的祭庙，因为亲子孙都已死尽，都应该毁弃，皇考庙因为亲子孙还没有死尽，就还像原来那样。”大司马车骑将军许嘉等二十九人认为孝文皇帝排除谤议，减去肉刑，亲身厉行节俭，不接受贺献，处罚有罪之人不及妻子，不贪利，放出宫中美人，对闱人为宦官十分慎重，礼遇年长之人，收养抚恤没父母没子女的人，功德之高可比天地，恩惠利益广施天下之人，应该为他建立太宗之庙。廷尉忠认为孝武皇帝改定正朔历法，更换人们衣服的颜色，击退四边的少数民族，应该为他建立世宗之庙。谏大夫尹更始等十八人认为皇考庙上接于昭穆次序，不符合正统礼节规定，应当毁弃。
因此皇帝感到这事很难办，犹豫了一年时间。于是发下诏书说：“我听说君王的祖有功绩，宗有仁德，是崇敬祖先的大义；保存祭祀高、曾、祖、弥的四座宗庙，是为了表示爱戴亲人的至恩。高皇帝为天下百姓诛杀除掉暴乱之人，受命于天，做了皇帝，功劳没有比这更大的了。孝文皇帝在封国是代王，吕氏的人叛乱，天下混乱震动，然而群臣百姓都一个心思，要归顺文帝；可文帝还十分谦虚，坚决辞让。然后才即位做了皇帝。文帝消除像当初秦国那样的混乱局面，重振三代的和美风尚，所以百姓才得以安居乐业，都蒙受了文帝的恩惠，文帝的功德仁义没人能比。我认为应该尊奉高皇帝为汉太祖，孝文皇帝为太宗，世世代代接受后人祭祀，永远传下去，我十分高兴这样做。孝宣皇帝是孝昭皇帝的后代，从礼义角度来说都是一样的。孝景皇帝的祭庙与皇考庙因为都是亲子孙已死尽，应当按礼法规定予以毁弃。”韦玄成等人上书说：“祖宗的祭庙世世代代不毁弃，从祖宗以下，传五代祭庙就相继毁弃。现在高皇帝是太祖，孝文皇帝是太宗，孝景皇帝排次序是昭，孝武皇帝是穆，孝昭皇帝舆孝宣皇帝都排为昭。皇考庙因为亲子孙没有死尽不该毁弃。太上、孝惠庙因亲属关系都已疏远，应该撤除。太上皇庙中的神主应该埋在陵园中，孝惠皇帝为穆，神主迁到太祖庙中，陵寝园邑都不要再修建了。”他们的奏书得到了许可。
议事的大臣又认为《清庙》诗中说过祭祀神主的礼仪没有不要求清静的，可现在每月一次抬先皇帝的衣冠在陵寝与祭庙间游行，有众多的车马，有风有雨，不符合清静的要求。《礼记》上说：“祭祀不要次数太多，太多了就是亵渎，亵渎就是不尊敬祖先了。”因此应当恢复古代的礼制，按四季在庙中祭祀，另外那些陵寝园邑或几曰一次或几月一次不时地祭祀，都可以不必再修建。皇帝也就不再改变。第二年，韦玄成又上书说：“古代制定礼法，是为了区分尊卑贵贱，国王的母亲如果不是嫡氏就不能与先皇帝一起受祭于庙，那么就在陵寝献上食物进行祭祀，皇帝死了也就停止。陛下您十分孝顺，秉承天意，建立祖庙宗庙，制定相继毁弃祭庙的制度，排列昭穆，大礼已定好了，孝文太后、孝昭太后的陵寝园邑应该按照礼法，不再修复。”他的奏书得到许可。