另外，傅太后又要与成帝的母亲一同获得尊号，群臣多顺从她的旨意，说母亲凭藉儿子而显贵，应该给母亲制定尊号来弘扬孝道。衹有师丹和壬眯认为不可。皇上难于违背大臣们的正直议论，内部又受到傅太后的胁迫，这件事就拖了几年也没有议定。师丹因为犯了罪被免官，朱博代替他担任大司空。孔光在先帝时商议皇位继承人就与皇上不合，其后又严重违背傅太后的旨意，因此傅氏在位者舆大司空朱博勾结起来，共同诋毁诬陷孔光，过了几个月后，皇上就下韶罢免孔光，说： “丞相是辅佐君主的大臣，与君主共同继承社稷江山，负责治理国家，并辅助皇上的不周之处，使国家得到治理。皇上昏昧不明，灾难持续不断，曰、月失去光亮，大山崩塌，黄河决口，五星运行失常，这些都表明了我的德行不够，表明了辅助君主的大臣的不够贤良。你以前担任御史大夫的时候，辅助先帝，前后共有八年，始终没有什么忠诚的言语和良好的计谋。现在又担任我的丞相，前后已有三年，还没有听到你有关忧国忧民的进谏。近来天地之间，阴阳之气乖谬不和，连年生产不获丰收，国家粮仓空虚，百姓受饥挨饿，父子分散，四处流离，数日高达十万多人。而朝廷百官职责废缺，各种奸邪横行，盗匪猖獗，有的攻打官府，杀死官吏。多次向你询问这些事情，您没有忧愁、恐惧之意，回答说没有什么危害。因此百官都懒惰怠慢起来，没有把这些事放在心上，这都是你的责任。你担负着治理社稷江山的重任，负责管理百官，可是你对上，不能匡正我的过失，对下，不能安抚百姓。《书经》不是说：‘不要委任不称职的官员。代天管理百官的人必须称职。，H岛呼！你交出丞相博山侯的宫印，罢官回家。”
孔光退归乡里之后，闭门自守。朱博代替孔光担任丞相，几个月后，就因按照傅太后的指使妄奏政事，犯罪自杀了。平当接替朱博担任丞相，几个月后就死了。王嘉随后接任丞相，几次进谏，忤逆了皇上的旨意。短短的时间内频繁地更换了三个丞相，舆论都认为这几个丞相都赶不上孔光。皇上因此常常想念孔光。
适逢元寿元年正月十五El发生了日食，其后十多天傅太后去世。这个月皇上征召孔光到公车官署，询问有关日食的事情。孔光回答说： “我听说太阳是一切**的本源，是国君的代表，是至高无上的尊严的象征。君主的德行衰微，臣子兴盛强大，侵犯遮蔽了太阳的光明，那么H食现象就会随之发生。《书经》说‘进用貌、言、视、听、思五事，， ‘建用广大中正之道，，如果貌、言、视、听、思五方面有过失，中正之道没有确立，那么凶祸的现象就会逐渐产生，上天给予的凶、恶、疾、贫、弱、忧六种惩罚和灾异就会频繁发生。广大而不中正，就称之为‘大中不立’，传书上说‘这个时候就会经常发生日月乱行’，日月不是行得快了，就是转得慢了，甚而至于发生日食的现象。《易传》又说‘六种恶气堵塞，，岁之朝，月之朝，曰之朝叫三朝，其感应很强。正月辛丑初一发生日食，是灾异出现在三朝之会。上天是聪慧明察的，如果国内没有发生什么事情，变异的现象是不会平白无故地发生的。《书》说：‘先藉用至高无上的天王的名义纠正其事’，指变异现象产生，起因是由于有不正确的事情发生。我听老师说，上天为了辅助君主，就让灾异现象多次出现，以此来告诫君主，要他改变过失。如果君主不感到畏惧，还遮掩敷衍，轻视忽略上天的告诫，街噪欺瞒上天，那么惩罚性的灾难就必定降临到头上，那是无疑的。《诗经》说：‘敬服上天，敬服上天，上天无比明察，
受天命难之又难啊！’又说：‘敬畏天的威力，才能保全平安。，这些都是说不敬畏上天就会遭受凶祸，敬畏上天就会吉利。陛下圣德聪慧明察，办事兢兢业业，敬承顺从上天的告诫，敬畏各种变异现象，勤勤恳恳，虚怀若谷，召见百官群僚，反思寻求变异的原因，然后以身作则，自我约束，总理、纠正万事万务，疏远结党营私的小人，接纳忠诚不二的好人，罢免贪婪残暴的酷吏，进用贤明忠良的官员，公正地赏罚惩处，减轻赋税，把恩泽施加给百姓，这真正是处理朝政的根本，应付各种灾异的首要任务。这是国家的万幸。《书经》说：‘既然接受了天命，就应该实行德政。，指的是实行德政来顺应上天。又说‘上天辅助至诚之辞，，指的是如果有忠诚之心，上天就会辅助他。明智地接受顺应天道，在于增进德行，广施恩泽，加致精诚，毫不懈怠。世俗所用的求福除祸的小术，最终无益于顺应上天，消除灾异，消祸求福，昭然揭示，没有什么疑惑不解的。”
奏书递上，皇上看了很高兴，赏赐孔光束帛，拜他为光禄大夫，俸禄中二千石，任给事中，官位仅次于丞相。皇上下诏要孔光举荐可以担任尚书令职务的人，写好后密封奏上，孔光上书敬谢说：“我以老朽之身，以前历任各种重要职务，始终没有半点成效，幸免于没有犯罪被斩，保全了性命，现今重新提拔任用，作为朝廷的后备内臣，参与朝政事务。我孔光智慧谋略都很浅短，现已年迈，实在担心有朝一日突然死去，没有什么报答皇上。我私下看到国家朝政事务，尚书一职长期更换人选，没有卓绝的才能，是很难胜任的。尚书仆射敞，办事公正，勤于职守，遇事灵敏通达，可以担任尚书令。现郑重地写下，密封上奏。”敞因为孔光的举荐，担任了束平太守。敞姓成公，是束海郡人。
孔光担任大夫一个来月，丞相王嘉入狱而死，御史大夫买延免官。孔光便重新担任了御史大夫，两个月后又重新担任丞相，重新受封博山侯。这时皇上才知道以前免去孔光的官职，并不是孔光犯了罪，而是身边的近臣诋毁诬陷他，于是又免去傅嘉的官职，说：“以前傅嘉担任侍中时，诋毁诬陷仁义贤德之人，诬告大臣，使得贤俊之人，长期得不到重用。傅嘉颠倒是，巧佞虚伪，，0怀奸诈、欺瞒皇上，结党营私，一手遮天，中伤忠臣，肆无忌惮。 《诗经》不是说吗：‘谄媚的小人欺瞒猖獗，使国家混乱不宁。，因此免去傅嘉的官职成为平民，遣送回原郡。”
第二年，评定三公的官位，孔光改为担任大司徒。适逢哀帝逝世，太皇太后以新都侯王莽为大司马，选立中山王为皇帝，即汉平帝。平帝年纪很小，由太后执掌朝政，太后把政事委托给王莽。哀帝时，罢免了王氏，因此太后和王莽对丁、傅、董贤一派权臣很怨恨。王莽认为孔光是前朝丞相，名儒，为世人所信任、仰慕，太后也敬重他，总是按礼节接待。凡是要打击政敌，总是要孑L光帮助起草文件，按照太后的旨意，要孔光写好奏上。凡是与太后有仇的，即使是极小的仇恨，也是睚眦必报，没有不杀的。王莽的权势日益强大起来，孔光内心很惶恐担忧，不知道该如何才好，就上书皇上告老退职。王莽便对太后说：“皇上年纪很小，应该给他安排一个老师。”便任命孔光为皇上的太傅，官位为四辅，给事中，负责宿卫供养，在宫禁之中办公，负责供给衣服、车马和食物。第二年，升任太师，王莽担任太傅。孔光经常称病，在朝廷不敢与王莽并位。皇上下诏王莽在每月初一十五上朝，并让王莽统率城门卫兵。王莽又指使群臣上奏，颂扬王莽的功德，汉平帝加给王莽宰衡称号，位于诸侯王之上，统率百官。子L光看到这种情形，更感到恐慌，坚持称病辞职。太后便下诏书说：“太师孔光，是圣人的后代，先帝老师的儿子，德行纯正端方，道义学术精通，担任四辅的职务，辅助皇帝。现在年迈有病。但是像孔光这样德高望重的大臣，是国家的重臣，仍然是不可缺少的。《周书。召诰》说‘不遗弃老成之人’，国家要想兴盛，就要尊敬重用老师。下令太师孔光不用上朝进见，每十天赏赐一顿饭。赐给太师灵寿杖，黄门令给太师在宫禁之内设置坐几，太师进入宫禁之内可持杖，并赏赐十七种食物，然后回到府第养老，而他的下属官员仍按照常规办公。”