臣杨敞等谨与博士孔霸、臣隽舍、臣德、臣虞舍、臣射、臣后仓商议，都说：“高皇帝因为创建汉朝基业，所以称汉太祖，孝文皇帝因为仁慈节俭被称为太宗，如今陛下继承孝昭皇帝之后，行为放纵不合法度。《诗经》上说： ‘若说无知，也已抱子。，五刑的条文规定，罪孽没有比不孝更大的。周襄王不能侍奉好母亲，《春秋》就说‘天王出居到郑国，，因为他不孝而被赶出京城，使他与天下人隔绝。宗庙比君王更重要，陛下没有到高庙接受大命，就不可以继承上天的意旨，奉祀祖宗宗庙，统治天下万民，应当废黜。”臣请求有关官员御史大夫蔡谊、宗正刘德、太常苏昌和太祝准备一副太牢供品，告祭高庙。臣杨敞等人冒死罪来奏报。
皇太后下诏说：“准奏。”霍光就叫昌邑王起来跪拜接受诏令，昌邑王说道：“听说天于衹要有静臣七个人，即使无道也不会失去天下。”霍光说：“皇太后已下韶令废黜，哪裹还是天子！”于是上前抓住他的手，解下他身上的玺印绶带，捧上交给太后，扶着昌邑王下了宫殿，走出金马门，群臣跟着送行。昌邑王向西面拜道： “我愚昧不明事理，不堪担当汉朝的重任。”起身坐上皇帝侍从的车辆。大将军霍光把昌邑王送到昌邑邸后，霍光告罪道： “您的行为白绝于上天，臣下等怯懦无能，不能自杀来报答您的恩德。臣下宁可有负大王，不敢对不起国家。但愿大王能够自爱，臣下将再也不能见到您了。”霍光哭着离开了昌邑王。群臣又上奏说： “古代被罢黜放逐之人都流放到很远的地方，不使他干扰国家政令，我们请求把昌邑王刘贺迁到汉中房陵县。”太后下诏命刘贺回到昌邑，并赐给他收取赋税的私邑二千户。昌邑国的群臣由于没有尽辅佐教导君臣之谊，使王误入歧途而获罪。霍光就将他们全部杀了，共有二百多人。当这些人被拉出去处死的时候，都在街道中哭泣呼喊道：“当断不断，反受其乱。”
霍光坐在朝廷中，会同丞相以下大臣商议决定所立的人选。广陵王早在这之前就没有被选用，等到燕剌王谋反被诛，他的儿子也就不在议论中了。近亲中现衹有卫太子的孙子号称皇曾的还在民间，受到普遍称赞。霍光便又同丞相杨敞等大臣一同上奏说：“《礼》书中说‘为人之道能够亲爱亲人就能尊崇祖先，能够尊崇祖先就能够敬重宗庙’。如今大宗没有继承人，就应选择旁支子孙中贤能的人作为继承人。孝武皇帝的曾孙病已，武帝时有韶令在掖庭中抚养照看，到现在年已十八，从师学习《诗》、《论语》、《孝经》，身体力行节俭，仁慈爱人，可以继承孝昭皇帝的皇位，事奉祖先宗庙，统治万民。臣下冒死以告。”皇太后下诏说： “准奏。”霍光就派遣宗正刘德到曾孙家尚冠里，帮他洗梳沐浴，赐给他皇帝的衣服，叫太仆用轻便小车把曾孙接到宗正府进行斋戒，入未央宫谒见皇太后，被封为阳武侯。不久霍光就捧上皇帝的印玺，然后到高庙去拜谒，造就是孝宣皇帝。第二年，皇帝下诏说：“褒奖有德的人，赏赐有大功的人，是古今的常理。大司马大将军霍光守卫宫廷忠诚正直，宣扬道德彰明恩泽，保守节操秉行仁义，用来安定宗庙。将河北、东武阳的一万七千户加封给霍光。”加上他以前的封地一共有两万户。前后赏给他黄金七千斤，钱六千万，各色彩帛三万匹，奴婢一百七十人，马二千匹，上等住宅一处。
白昭帝时起，霍光的儿子霍禹以及霍光哥哥的孙子霍云都已是中郎将，霍云的弟弟霍山任奉车都尉、侍中，掌握胡、越兵权。霍光的两个女婿分别是东西宫的卫尉，霍光兄弟的女婿及外孙都有资格参加朝会，担当诸曹大夫，骑都尉，给事中的官职。党派亲族连成一体，盘根错节地占据了朝廷。霍光从后元以来一直总理朝政，等到皇上登基以后，才归还朝政。皇上谦让不肯接受，各种政事都要先请示霍光后，再上奏给天子。霍光每次上朝参见，皇上都谦恭严肃，对他十分恭敬礼让。
霍光执政前后达二十年，地节二年春他病得很厉害，皇上亲自去他家探望病情，为之流泪哭泣。霍光上书谢恩说：“我愿把我封国食邑的三千产用来分封我哥哥的孙子奉车都尉霍山为列侯，以供奉我哥哥骠骑将军霍去病的祭祀。”皇上把此事交给丞相御史办理，当天就授任霍光的儿子霍禹为右将军。霍光去世后，皇上及皇太后都亲自到霍光的灵堂去吊唁。太中大夫任宣和五个侍御史一同拿着符节操办丧事。中二千石的大臣在墓地上设置幕府办事。皇上还赐给金钱、帛绢丝绵，绣花棉被一百条，衣服五十箱，金镂玉衣，内棺、外椁、黄肠题凑各一副，随葬的外藏枞木椁十五副。柬园制作的温明秘器，全都如同皇帝的规格。用辊鲸车载着霍光的遗体，车上用黄缎覆盖，辕左插上羽饰大旗，派材官、轻车、北军五校士兵列队一直到达茂陵，来为霍光送葬。给他赐谧号为宣成侯。征发河东、河南、河内三郡的士兵挖掘墓穴，盖起陵墓祠堂，设置看护的园邑三百家，长史、丞掾按照旧法侍奉守护陵园。
霍光被安葬以后，宣帝就封霍山为乐平侯，以奉车都尉的身份兼管尚书的事务。天子追思霍光的功德，下韶令说：“已故大司马大将军博陆侯在宫禁中侍奉孝武皇帝三十余年，辅佐孝昭皇帝又有十多年，中间遭遇到重大的灾难，挺身执仗正义，率领三公九卿大夫决定万年大计以安定国家，天下的黎民百姓才获得安康太平。他的功德无量，朕极为嘉许。决定免去他后代的徭役。子孙继承他的封爵食邑，世世代代不准改变，他的功劳与萧相国同等。”第二年夏天，宣帝封太子的外祖父许广汉为平恩侯。又下诏令道：“宣盛堡霍光在宫禁中侍奉天子忠诚正直，为国家辛勤操劳。褒奖善良的人应推及后代，此封霍光哥哥的孙子中郎将霍云为冠阳侯。”
霍禹继爵为博陆侯后，太夫人显改变了霍光生前自己设计的墓地规制而加以扩大。建起三个出口的门阙，修筑神道，北面靠近昭灵，南面越出丞墨。大肆装修祠堂，辇车的专用道直通到墓穴中的永巷，又幽禁平民、奴婢、侍妾来守护。还大建住宅，制造乘坐的辇车，增加饰有图案的绣花坐垫、把手，并涂饰黄金，又用皮裹着丝絮包住车轮，侍从婢女用五彩的丝带拉着显所乘坐的车，在住宅中游戏取乐。当初，霍光宠爱家奴总管冯子都，常同他商量事情，等到显守寡独居时，她便和冯子都通奸。而霍禹、霍山也同时修缮住宅，常在平乐馆跑马追逐。霍云每当朝会的时候，多次称病私下外出，带着很多宾客，在黄山苑囿中张围打猎，却委派奴仆代为上朝谒见，没有人敢谴责。而且显和她的几个女儿，不分白天黑夜地进出长信宫的宫殿中，没有限度。
宣帝在民间时就听说并知晓霍氏尊贵强盛日子长久，心中并不认为这是一件好事。霍光去世后，宣帝才开始亲自治理朝政，让御史大夫魏相任给事中。显对霍禹、霍云、霍山等人说：“你们这些人不努力继承大将军的遣业，如今大夫任给事中，一旦有人在中间挑拨，你们还能拯救自己吗？”后来霍、魏两家的奴仆争路，霍氏的奴仆就跑到御史大夫府中，要踢坏他府中的大门，御史为此叩头请罪，他们才离开。有人把这件事告诉了霍家，显等人才开始知道将有忧患。等到魏大夫担任丞相，经常在闲暇时被召见谈论政事。平恩侯和侍中金安上都能直接出入宫禁中。适时霍山仍旧兼领尚书的事务，但皇上叫官吏百姓可以密封奏章上报，不必通过尚书，群臣百官进见皇上可以独自往来，霍氏对此非常不满。