第二年，匡衡犯法被免除官位和爵位。众人大多说不应变动祭祀。又当初取消在甘泉的泰峙行南郊祭祀之Et，大风毁坏了甘泉的竹宫，折断拔起祭场中树木有十围粗以上的百余棵。天子对此感到奇怪，询问刘向。刘向答道： “平民人家尚且不想断绝继嗣所传的祠庙，何况对于国家的神宝旧时呢！而且甘泉、汾阴以及雍城的五峙刚刚建立，都有神灵感应，然后再加以照理，不是敷衍一下就行了。武帝、宣帝的时候，供奉这三神，礼节恭敬齐备，神灵光辉尤其显著。祖宗所设立的神灵旧位，实在不能轻易改动。至于陈实祠，从秦文公到现在有七百多年了，汉朝建立后代代都来，光的颜色赤黄，长四五丈，直到祭祀后才停止，声音砰然作响，野鸡都呜叫。每次见到雍城太祝用太牢祭祀，派遣迎候的人乘着一辆驿站的马车到天子所在之地报告神灵的到来，都以之为吉祥。高祖时来了五次，文帝时来了二十六次，武帝时来了七十五次，宣帝时来了二十五次，初元元年以来也来了二十次，这些都是阳气旧祠。至于汉朝宗庙的礼仪，不得擅自议论，都是祖上的君主和贤臣所共同制定的。古今制度不同，经上没有明确记载，至尊至重的事，难以用不确定的言论来纠正。前不久刚采纳贡禹的建议，后来的人相互因袭，大多有所动摇。《易大传》说：‘欺骗神灵的人要殃及三代。’恐怕这些过失不独衹是贡禹等人。”皇上心裹感到悔恨。
后来皇上因为没有继嗣的缘故，就命皇太后下诏给有关官员说：“听说帝王事奉天地，交接泰一，尊敬神灵没有比祭祀更好的了。孝武皇帝英明通达，开始建立天地的祭祀，在甘泉营造台峙，在汾阴建立后土，神灵就感到安稳，国家便长久，子孙繁衍昌盛，世代遵守祖业，福佑流传到现在。现在皇帝宽厚、仁慈、孝顺，遵循帝王的统绪，没有大的过失，却很久没有继嗣。思考其主要的过失，大概在于迁徙南北郊祠，违背先帝的制度，改换神灵的旧位，失去天地的本心，以致妨碍继嗣的福分。我有六十岁了，还未见有皇孙，食不甘味，寝不安席，朕感到很哀痛。《春秋》以复古为大，以顺应祭祀为善。令恢复甘泉宫的泰时、汾阴的后土跟以前一样，以及雍城的五峙、在陈仓的陈宝祠。”天子重新跟以前一样亲自举行郊祭的礼仪。又恢复长安、雍城以及郡国比较著名的祠庙近一半。
成帝晚年相当喜欢鬼神，也因没有继嗣的缘故，许多上书谈祭祀和方术的人，都得到待诏的官职，在上林苑中长安城旁祭祀时，花费相当多，但是没有很明显的功效。谷永就劝说皇上
道：“臣听说要明了天地的本性，就不可被神怪迷惑；要知道万物的性情，就不可被不同的种类所蒙蔽。那些背弃了仁义的正道，不遵守《五经》法定的言论，却大肆称道怪异鬼神，广泛崇尚祭祀的方术，祈求没有福佑祭祀的回报，至于说世上有仙人，服下不死的药方，能轻轻一动就到了很远的地方，到很高的地方能够倒影，览观县圃，浮游蓬莱，耕耘五德，早晨播种，晚上收获，同山石一样没有穷尽，冶炼丹沙令其变化能制作黄金，可以使坚固的冰融化，能得到五色五仓的方术的人，都是欺骗众人的邪恶之徒，依靠邪门旁道，心怀虚伪，以欺诈君主。听他们谈论，滔滔不绝于耳，好像即将可以遇到仙人；去访求仙人，空洞得如同捕风捉影，始终不能求得。因此英明的君主是远离他们不听他们的话的，圣人是绝弃而不谈论的。以前周朝史官苌弘想用鬼神的方法来辅佐朝见的诸侯尊敬周灵王，但周室更加微弱，诸侯更加叛离。楚怀王隆重举行祭祀，事奉鬼神，打算获得神福的帮助，打退秦国军队，但军败地削，身辱国危。秦始皇刚开始吞并天下，就沉湎于神仙的事中，派遣徐福、韩终等人带了很多童男童女到海上去寻求神仙，采取仙药，因为他们逃走后没有回来，天下就怨恨。汉建国后，新垣平、齐国的少翁、公孙卿、乐大等人，都凭仙人、冶炼黄金、祭祀、事奉鬼神役使万物、入海求神仙、采仙药而得到宠爱富贵，赏赐达到千金。乐大尤其尊宠，以致娶公主为妻，爵位一个加一个，震动海内。元鼎、元封年间，燕、齐之间的方士瞋目扼腕，说有神仙可以用祭祀招致福佑的方法的人以万计。这以后，新垣平等人都因为道术穷尽诈伪暴露，而伏罪被杀。到初元年间，有天渊玉女、钜鹿神人、撩阳侯的老师张宗的奸诈，纷纷重新兴起。周、秦的末期，三皇五帝兴盛的时候，就曾专门花费财物，增加爵禄，打起精神，全天下人来求取它们。费了许多年日，没有丝毫应验，足以作为今天的借鉴。经书上说： ‘祭祀有多种礼仪，而不涉及礼物，祇当没有被神所享受一样。，《论语》说：‘王迂不谈怪异和神仙。，希望陛下远离弃绝
这些事情，不要让邪恶的人有可以窥伺朝廷的空隙。”皇上认为谷永说的有理。
后来成都侯王商任大司马卫将军辅助政事，杜邺劝说王商道：“‘东邻杀牛祭祀，不如西邻用汤煮菜来祭祀，，是说奉事上天的方法，是以诚实质朴大得民心为贵。行为不正，即使祭祀丰富，仍得不到福佑；德行高尚，即使荐献单薄，吉祥一定大规模地到来。古代坛场有固定的地方，焚柴里祭有固定的物用，赞见有固定的礼仪；牺牲玉帛即使全都齐备，但国家财产不匮乏，车马大臣的使用即使动用也不会劳累。因此每次举行祭礼，助祭的人感到快乐，天子祭天所乘的车经过的地方，百姓不知道。现在甘泉、河东天地的郊祀，都失去了方位，违背了阴阳的和谐。还有雍城的五时都空旷辽远，奉事神尊的劳役停止后重又兴起，修整供给各种器物没有止境，皇天明显的形状大致可略微知晓。前不久到甘泉，前面开路的入迷失了道路；祭祀月亮的傍晚，前面导引车马的人重又迷路。祭祀后土回来的路上，到黄河边上应当渡河的时候，大风涌起波浪，船无法行走。又在雍城遭到大雨，毁坏了平阳宫的城垣。于是三月甲子曰，雷电使林光宫的门遭受火灾。吉祥的瑞兆没有显现，过失的征兆就到了。考察三郡所上奏的，都有变故。不合天意，不为上天所飨，有什么比这更过甚的呢！《诗》上说： ‘遵循旧有的典章’。旧有典章，是先王的法度，文王用它来祭祀神灵，子孙达千亿。应跟旧时公卿所议的一样，重到长安南北郊祭祀。”
后来过了几年，成帝去世，皇太后下韶给有关官员道：“皇帝即位，想顺从天意，遵从经义，确定郊礼，天下欢心。担心没有皇孙，因此恢复甘泉的泰时、汾阴的后上，差不多获得了报。皇帝悔恨祭祀太艰难了，终于没有得到福佑。命恢复长安南北郊祀，跟以前一样，以顺应皇帝的心意。”
哀帝即位，卧病，广泛征求方术方士，京师各县都有侍候祭祀的使者，全面恢复前代所常祭祀各神的祠官，共七百多所，一年有三万七千次祭祀。第二年，重新令太皇太后下诏给有关官员道：“皇帝孝顺，禀承圣人业绩，没有懈怠，但久病不愈。早晚忧思，大概是继承体制的君主不适合改造建作。令恢复甘泉的泰时、汾阴的后土祠到以前的样子。”皇上也不能亲自前去，就派遣有关官员去行礼祭祀。三年后，哀帝崩。