一年多以后，韦玄成去世，匡衡做了丞相。皇上卧病在床，梦见祖宗谴责自己毁弃了各封国的祭庙；皇帝的小弟弟楚孝王也梦见了这事。皇帝下韶向匡衡询问怎么办，商议着想要重新在各封国建立祭庙，匡衡极力劝阻，认为不能这样做。皇帝的病很长时间不能好，匡衡很害怕，在高祖、孝文帝、孝武帝庙中祷告说：“后代曾孙皇帝继承先代伟大的功业，日夜勤劳，不敢好好享乐，想着发扬光大祖宗的基业，来昭明祖宗的伟大功绩。所以一举一动，迎接神主，都一定要遵从古代圣人的经术。以前的时候，主管官员认为先前在皇帝到过的地方建立宗庙，是为了笼络海内人心，并不是为了尊奉祖先父辈。现在靠宗庙的神灵，天下没人敢不归附，因而祖宗祭庙应当统一建在京城，由天子亲自主持祭祀，各封国的祭庙可以停止不再修建了。皇帝崇敬过去的礼制，敬重祖先的神明，便上告于祖宗，不敢失礼。现在皇帝害了病，久不能愈，又梦见祖宗用毁弃宗庙的事告诫他，楚王的梦也有这样的意思。皇帝十分害怕，便韶令我重新修建祭庙。我恭敬地认为上代帝王在主持祖宗神主祭祀的时候，最大的礼节是必须亲自到场。诸侯国的官吏地位卑贱，祭祀祖先的事不能让他们单独承办。另外，祭祀的要义是以百姓为根本准则，以前几年屡次没有丰收，百姓生活贫困，各封国的祭庙没办法修建。《礼》上说，不好的年景就不要举行祭祀，因为那样祖宗神主不高兴，所以不敢举行。如果确是因为朝廷做事不合礼义，违背了祖宗的心意，那罪过全在匡衡我一人身上，我应当受灾祸，害大病，掉到沟裹死去。现在的皇帝十分孝顺诚敬，应该得到祖宗的保佑与赐福。希望高皇帝、孝文皇帝、孝武皇帝能够明察，保佑孝顺的皇帝，开恩赐予皇帝高寿，让他的病早些好，恢复平常的样子，永远奉保宗庙，那么天下百姓便十分幸运了！”
又就毁庙的事祷告说： “以前，大臣们认为先前的帝王秉承祖宗传下的美好的法典，模仿天地之事，上天的序列有五行，人亲近的是五服之内，天子遵从天意，所以顺从其意而尊崇其制度。所以谛祭尝祭的次序，没有超过五代的。受命于天的开国君主亲自接近了上天，所以他的祭庙万世不毁。继承基业的后代君主，他们的祭庙经过五代就要变迁，其神主迁到太祖庙中，每隔一年举行一次合祭，这种方法上应天意，所以能享尽福禄，终其天年。太上皇不是受命于天的开国君主，亲子孙死尽后，他的祭庙按礼法之义就该迁移。又认为最大的孝道就是尊崇父亲，所以父亲所信奉的事情他的儿子不敢不秉承，父亲不赞同的他的儿子也不敢赞同。礼法规定，公子为尊父不许为母亲过分伸扬，做了宗族的后代，儿子可以祭祀，到孙子辈就不要祭祀了，这是为了尊敬祖先、父亲。陵寝每H要上四次祭品，陵园中的庙不时的祭祀，都可以不再修建。皇帝思慕先君，伤悼畏惧，不敢完全按礼法行事。衹是想到高皇帝崇高的仁德，受命于广大的上天，敬善乐古，顺承天意，后代子孙承受广厚的赐福，世世无穷。实在是认为把祖庙的神主迁到一起进行合祭是长久之计，高皇帝的旨意，后代敢不听从？造就选择吉H，把太上皇、孝惠帝的神主迁入宗庙，把孝文太后、孝昭太后的神主迁入陵寝，用来昭明祖宗的仁德，顺应天人之序，安定世代无穷的基业。现在皇帝没有蒙受这样的赐福，却害了病，不能处理政事。皇帝希望能再修宗庙，主持祭祀，我和大臣们都认为这不符合礼制。如果我们的建议不合高皇帝、孝惠皇帝、孝文皇帝、孝武皇帝、孝昭皇帝、孝宣皇帝、太上皇、孝文太后、孝昭太后的意愿，那么罪过都在于我们这些臣子，我们应当受责备。现在皇帝还没有病愈，下诏命令朝中大臣就毁庙之事详细撰文上覆先祖。臣子匡衡我与朝中大臣回答了天子，都认为天子的祭祀活动从礼义上来说要有所依据，从礼制上来说要有所秉承，如果违背传统，违背礼制，那就没法奉祀先祖。皇天不会保佑他，祖宗在天之灵也不会享用他的供品祭物。《六经》上记载的礼制，都说各地建庙不合适。我们没有什么依据顺应先祖之意，来写作这篇毁庙之文。祭祀方面的事如果不合先祖们的旨意，那么罪过都在臣匡衡身上，我应当遭受惩罚灾祸。皇帝应该受到祖先的赐福，运气越来越好，疾病痊愈，让他能够永远奉祀宗庙，与天地一样长远，使天下万物之神，有所归息。”各个宗庙用的是同一篇祭文。
过了许久，皇帝连年害病，于是下诏全部恢复了以前撤销的那些陵寝、祭庙、园邑，还像以前那样修葺祭祀。当初，皇帝制定相继毁庙的制度，衹尊奉孝文庙为太宗庙，而孝武庙因为亲子孙没有死尽，所以没有毁弃。皇帝于是又重新申明说：“孝宣皇帝尊奉孝武庙为世宗，增加或减少其间的礼节，我不敢参与进去。其他祭祀方面的事，都按原来的制度办理。”衹是各封国的宗庙终于废弃了。
元帝死后，匡衡又上书说： “先前的时候，因为皇帝的身体有病，所以才完全恢复了被撤销的那些祭庙，但是皇帝最终也没能蒙福长寿。据察卫思后、戾太子、戾后园，他们的亲子孙还没有死尽，可以保留，孝惠庙、孝景庙亲子孙都已死尽，可予以毁弃。以及太上皇、孝文帝、孝昭太后、昭灵后、昭哀后、武哀王的祀庙，请一起撤销，不再供奉。”他的奏书得到许可。当初，高后的时候担心臣子们妄自非议先君先祖的宗庙陵寝园邑，所以制定明令，有敢擅自非议的处以弃市之罪。到元帝时改易制度，撤销了这条律令。成帝时因为没有继承人，在河平元年又恢复了太上皇的陵寝祭庙园邑，世代供奉祭祀。把昭灵后、武哀王、昭哀后的神主一起归到太上皇的陵寝祭庙裹，像以前那样受供奉祭祀。又恢复了擅议宗庙之事杀死弃市的律令。
成帝死后，哀帝登位。丞相孔光、大司空何武上奏说： “永光五年朝廷颁布制书，命令称呼高皇帝为汉太祖，孝文皇帝为太宗。建昭五年颁布制书，命令称孝武皇帝为世宗。对这些重大礼制的增减，我们不敢参与。我们认为相继毁庙的次序，应当按照当时情况来决定，这并不是要人们擅自非议宗庙的意思。请允许我与大臣们一起商议此事。”奏书得到许可，于是，光禄勋彭宣、詹事满昌、博士左咸等五十三人，都认为从祖宗以下的皇帝们，都应该在五代以后毁弃祭庙，后代虽然有贤明的君主，也不能与祖宗并列。子孙后人虽然想为了宣扬光大他而为他立庙，他的神灵也不会来享受祭祀。孝武皇帝虽然功绩卓著，但亲子孙死完后祭庙也应毁弃。
太仆王舜、中垒校尉刘歆商议后上奏皇帝说：“我们听说周室衰落后，四方少数民族一起入侵，而以殓狁最为强盛，就是现在的匈奴。到周宣王时攻伐他们，诗人写诗赞美说‘攻打殓狁，到达了太原，，又说‘军队众多又强盛，出击迅速如雷霆，方叔昭明仁德，攻打捡狁，南荆的蛮夷也畏服来朝拜，，所以宣王被称为中兴之主。等到了周幽王时，犬戎来攻打中原，杀了幽王，夺走了宗庙祭器。从此以后，南蛮与北夷交相侵伐中原，中原王朝不绝如缕，危险万分。《春秋》记载齐桓公南伐楚国，北伐山戎，孔子称赞说： ‘如果没有管仲帮助齐桓公攻打蛮夷，我们这些人都要散发、衣襟左开，成了蛮夷之人了。，所以孔子放过了齐桓公的罪过而记录他的功绩，作为五霸之首。等到汉朝建立，冒顿单于刚刚强盛起来，攻破东胡，擒杀月氏国王，吞并了他们的土地，地广兵强成为中原的祸害。南越王尉佗统领百粤诸国，自称皇帝。所以中原虽然平定了，汉朝还是有四边少数民族入侵的忧患，还没有安宁的El子。如果一方有紧急战事，三方面的人众都要去救援，因此牵动天下，都遭祸害。孝文皇帝拿出许多财物送给匈奴，与他们和亲结盟，可他们仍然不停地侵略中原。特别严重的时候，匈奴出动十余万军队，逼近京城驻扎，围困四周边境；朝廷每年发兵防备匈奴，匈奴危害中原由来已久，不是一代形成的。诸侯国的郡守勾结匈奴、串通百粤，背叛朝廷的不止一人。匈奴杀害的汉朝郡守都尉，抢走的百姓也不可胜数。孝武皇帝哀怜中原人民疲惫困顿，没有安宁的Et子，于是派遣大将军卫青、骠骑将军霍去病、伏波将军路博德、楼船将军等人，向南攻灭百粤，建立了七个郡；向北攻打匈奴，俘获了昆邪十万人，建立了五个属国，建起朔方城，夺取匈奴肥饶的土地；向东攻打朝鲜，建起玄菟、乐浪郡，切断匈奴的左臂；向西攻打大宛国，吞并了那裹的三十六个小国，连结乌孙国，建立了敦煌、酒泉、张掖诸郡，来隔断蜡羌，切断匈奴的右肩。单于孤立无援，远远地逃到了大漠以北。武帝终于使四边不再有战事，拓展了中原的领土，建起了十多个郡。建立功业后，武帝封丞相为富民侯，来安定天下，使百姓富裕，那规范法式还可见到。武帝又招集天下贤人俊才，与自己协助共同谋划，建立制度，改定正朔历法，改变人民衣服颜色，建立天地祭祠之处，封禅泰山，改易宫号名称，保存周朝的杰出方法，制定分封诸侯的制度，使他们永远不生背叛争位的心思，到现在几代人还依靠它。单于称臣做汉朝守卫，百蛮服从汉朝命令，这是万世的基业，中兴之类的功绩没有比得上这的。高皇帝建立汉朝大业，做太祖；孝文皇帝仁德至厚，做文太宗；孝武皇帝功绩最大，做武世宗；这是孝宣帝制定的宣扬仁德的声音。《礼记。王制》以及《春秋谷梁传》说，天子要有七座祭庙，诸侯五座，大夫三座，士二座。天子死后停柩七天，七月后入葬；诸侯王死后停柩五天，五月后入葬；这是办理葬事的尊卑次序，与庙的数量是对应的。那文字是：‘天子的祭庙有三个昭庙、三个穆庙，加上太祖的庙共有七个；诸侯的祭庙有二个昭庙、二个穆庙，加上太祖的庙共有五个。，因此仁德至厚的人流芳后世，德行浅薄的人传福不厚。《春秋左氏传》说： ‘名称地位不同，礼节上也就不一样。’从上边的皇帝到下边的诸侯等，每降一级减少二个祭庙，这是礼制。七个庙是正法数，也是常数。宗不在这数中。宗是可以变通的，如果有功绩德行就把他当做宗，不能先在宗庙数中为他留设。所以在殷朝，太甲是太宗，大戊叫中宗，武丁叫高宗。周公做《毋逸》之文劝诫成王，列举了殷朝的三宗。从这方面来说，宗是没有在宗庙定数内的，然而它用来劝勉帝王的功绩德行却是十分博大的。按天子应有七座祭庙来说，孝武皇帝的祭庙不应当毁弃；从对他称宗的角度说，也不能说他没有功绩德行。《礼记》的祭祀法典部分说：‘圣明的君王制定祭祀之礼时，对功德广施于民的就祭祀他，对凭劳苦安定国家的要祭祀他，对能救民于灾难的要祭祀他。’我们考察孝武皇帝的一生，功绩德行兼而有之。异姓有功有德的人，还要特别的祭祀他，何况是先祖皇帝？有人说天子要有五庙，却没有见文字记载，又说中宗、高宗，崇尚他们的功德而毁弃他们的祭庙。这样做名实不符，就不是尊崇仁德、重视功绩的意思了。 《诗经》上说： ‘茂盛的甘棠，不要砍伐它，这是邵伯种下的。’思念有功德的人甚至爱护到他种的树，又怎能崇尚他的仁德却毁弃了他的祭庙？相继毁弃祭庙有惯常的法式，没有特殊的功绩仁德，当然要按亲近疏远来推算而轮到它。至于祖宗的次序，祭庙的数量，经传上没有明确的记载，祭祀先皇帝这样至尊至重的大事，很难凭虚空的有疑问的说法来决定。当初孝宣皇帝称举公卿大臣们的议论，采纳众位儒士的谋划，已经认定建立武帝的世宗之庙，传到万世之后，已宣告天下。我们认为孝武皇帝功业那样盛大，孝宣皇帝又这样崇尚他，因而武帝的祭庙不应该毁弃。”皇帝看了他们的建议后，予以采纳。颁布制书说：“太仆王舜、中垒校尉刘歆的计议可以施行。”