元帝即位，征召孔霸为皇帝的老师，赏赐孔霸爵位为关内侯，封食邑八百户，号裹成君，任给事中，另外赏赐黄金二百斤，宅第一所，并将户籍迁移到了长安。孔霸待人谦逊礼让，不喜好权势，经常表示自己的爵位过高，没有什么品德才能可以胜任！皇上想要孔霸担任宰相的职务，自御史大夫贡禹死后，到薛广德罢免，皇上总想拜孔霸为相。孔霸让位，一而再，再而三，皇上知道他诚心实意地谦让，才没有任命他为相。这之后，皇上更加尊敬孔霸，赏赐也更加丰厚。等到孔霸逝世后，皇上身着丧服两次亲临哀悼，赐束园的秘器、金钱和丝帛，并按照列侯的礼仪策赠，谧号烈君。
孔霸有四子，长子名福，继承了关内侯的爵位。次子孔捷、三子孔喜，都担任校尉等官员。、孔光，是孔霸最小的儿子，对经学尤其精通，年纪不到二十岁，就被推举为议郎。光禄勋匡衡推举孔光品行端正，担任谏大夫。因为议论政事有与皇上意思不合之处，贬官为虹县县令，孔光白免，回家去教授经学。成帝初即位，了L光被推举为博士，多次让他负责平反冤狱，整治风俗，赈济灾民，孔光每次奉命出使都圆满完成任务，孔光的名声传遍朝野。这时，博士分三科选官，成绩优良的选为尚书，次一等的担任刺史职务，那些不通朝政事务的，就留待以后补任诸侯太傅，，孑L光以成绩优秀担任尚书，负责考察前代典章制度和礼节仪式，多年研习精通了汉代的制度和法令。皇上很信任他，先后升迁为仆射和尚书令。皇上有韶书嘉奖孔光办事周密谨慎，从来没有出现过差错，升任诸吏官，并任命他的儿子孔放为侍郎，给事黄门。几年后，孔光又升为诸吏光禄大夫，俸禄中二千石，给事中，赏赐黄金百斤，兼任尚书。以后又升为光禄勋，仍负责尚书的事务，像过去一样担任诸吏给事中。孔光一共执掌朝政机要十多年，维护法度，修定制度。皇上有政事询问，孔光总是根据经典法律，以自己认为对的答案来回答，不希望与皇上的旨意苟合；正I如果有的时候皇上不听从，孔光也不敢强硬谏争，因此孔光当官时间很长，而且安全。有时他上书言事，已经写好的奏章总是删削修改，认为上书张扬皇上的过失，以此来求得忠直的美名，是做官的大罪。子L光推荐别人做官时，也惟恐被人听到。轮到放假之曰，回家休息，与兄弟、妻子儿女们说家常话时，始终都不提朝廷官署裹的政事。有人问孔光：“长乐宫温室殿的树，都是一些什么树啊？”孔光衹嘿嘿地一笑，并不回答，然后用别的话岔开去。孔光不泄露朝廷政事就是如此。孔光是皇帝的老师的儿子，少年的时候就以经学和品行而著名，当官成名很早，不结党扶植培养游说之徒，也不求助于别人。这既是他性格内向严谨的结果，也是他学宦早成的身世决定的。后来孔光从光禄勋升任御史大夫。
绥和年间，皇上即位二十五年，没有继承皂位的儿子，最亲的亲属有同母的弟弟中山孝王以及同母弟弟的儿子定陶王。定陶王博学多才，像皇帝的儿子似的。定陶王的祖母傅太后暗地裹为定陶王谋求继承皇位，私下勾结赵皇后、昭仪以及皇帝的舅舅大司马骠骑将军王根，因此他们都劝皇上定继承人。皇上于是召集丞相翟方进，御史大夫孔光，右将军廉褒，后将军朱，引入密室，商议中山孝王、定陶王哪一个应该定为皇位继承人。翟方进、王根认为定陶王是皇帝弟弟的儿子，《礼》说“同胞弟兄的儿子就好比是自己的儿子一样”，“是他的后辈也就是他的儿子”，因此定陶王应该定为继承人。廉裹、朱博也都跟方进、王根的意思一样。惟独孔光认为根据礼制选立继承人应根据血亲关系，中山王是先帝的儿子，皇上的亲弟弟。按照《尚书。盘庚》所记载的，哥哥死后弟弟继承王位为例，中山王应该立为继承人。皇上根据《礼》有兄弟不能都入庙堂的记载，加上皇后、昭仪要立定陶王，因此选立定陶王为皇太子。孔光因为议论不合皇上的意思，贬官为廷尉。
孔光长期掌管尚书事务，制订法律制度，号称精细平和。这时，定陵侯淳于长犯了大逆不道之罪被杀了，淳于长的小妾乃始等六人都在淳于长犯罪的事没有被发觉之前离他而去，有的重新嫁了人。等到淳于长的事情发生之后，丞相方进、大司空何武商议，认为“按照法令，犯法的人都要以犯法时的法律论处，在时间上有明确的界限。淳于长犯大逆不道罪的时候，乃始等是他的妻子，已经犯有株连之罪，跟自己犯罪一样。她们在犯罪之后才离开他，按照法律是没法免罪的。请皇上裁定。”孔光发表意见，认为“犯了大逆不道的罪，罪犯的父母妻子子女，以及同母。亲属，无论年纪大小，都应该处斩，弃尸街头，以此来警戒今后犯法的罪人。而夫妇之间的法则，是相互之间有情义就结合，没有情义的话就分离。淳于长自己不知道要犯下大逆不道的罪，就抛弃了乃始等人，她们有的重新改嫁了，夫妻之间的情义已绝，如果还要认为她们是淳于长的妻子，来杀掉她们，名义上不正当，因此不应当牵连判罪。”皇上下韶书，肯定孔光的意见正确。
逭一年，右将军廉褒、后将军朱博因为与犯罪的定陵侯淳于长、红阳侯王立交谊深厚，也都被罢免为庶人。任命孔光为左将军，担任右将军的官职，任命执金吾王咸为右将军，担任后将军的官职。撤销了后将军的官位。几个月后，丞相方进逝世，皇上召见左将军孔光，准备拜他为相，已经刻好了侯印和写好了拜他为相的策书，这时皇上突然死去。就在皇帝暴死的当夜，葬礼之前，拜授丞相、博山侯的大印。
哀帝初即位，以身作则，提倡节俭，节省减少了许多费用，朝廷政事都由皇上自己负责处理，朝廷一时震动，盼望太平盛世的到来。皇上褒扬奖赏大臣，给孔光增加封邑一千户。这时，成帝的母亲太皇太后自己住在长乐宫，而成帝的祖母定陶傅太后住在皇帝的住处，皇上便下诏问丞相、大司空：“定陶共王太后应当住在何处？”孔光平时听说傅太后为人处事刚烈残暴，而且擅长于玩弄权术谋略，从皇帝还在襁褓之中，就开始抚养，直至教育他成人，在皇帝登基的时候又出过力。孔光担心傅太后干预朝政事务，不想让她与皇帝朝夕相近，就发表意见，认为定陶太后应该另外修建宫殿居住。大司空何武说：“可以住在北宫。”皇上听从了何武的话。北宫有紫房空中阁道与未央宫相通，傅太后果然从阁道早晚到皇帝的住处，请求皇上赐予尊号，让她的亲属富贵受宠，使得皇上不能根据正直的原则秉公行事。不久，太后堂弟的儿子傅迁在皇帝左右尤其施展奸邪伎俩，皇上罢免他的官职，遣送他回归故地。傅太后恼怒，皇上不得已，又把傅迁重新留了下来。孔光与大司空师丹上奏说：“皇上下诏书说： ‘侍中驸马都尉傅迁乖巧邪佞，泄露朝廷秘密，对皇上办事不忠，是国家的祸害，罢免官职，遣送回家。’其后又下诏停办，百官都疑惑不解，感到没有什么值得信任的了，这对皇上的圣德是一个很大的损害，确实不是一个小小的过失。陛下因为灾异接连出现，曾经离开正殿，召见朝廷百官，思考发生灾异的原因，到现在为止，过去那些做得不好的事情，都没有得到改正。我们请求皇上仍旧遣送傅迁回老家，来消除奸党，服从上苍的警告。”但是傅迁最终还是没有被遣送回家，重新做了侍中。皇上办事胁迫、服从于傅太后，都跟这种情形一样。