元平元年，昭帝驾崩，没有继承人。汉武帝六个儿子中独有广陵王刘胥还活着。各位大臣商议所要立的人选，大家都主张立广陵王。广陵王本来因为行为有失道德，没有被先帝选用。霍光内心自感不安。有郎官上书说：“周太王废掉太伯而立王季，文王舍弃伯邑考而立武王，衹要对国家有利，即使是废黜长子而立少子也是可以的。广陵王是不可以继承宗庙社稷的。”所说的正好同霍光心意相合。霍光就把这份奏书给丞相杨敞等人看，并且把这个郎官提升为九江太守，当天就奉皇太后的诏令，派遣代理大鸿胪事务的少府乐成、宗正刘德、光禄大夫丙吉、中郎将利汉去迎接昌邑王刘贺。
刘贺是漠武帝的孙子，昌邑哀王的儿子。他到宫中后，登上帝位，不久就行为淫乱。霍光忧虑气愤，独自以此事去问亲信的旧臣大司农田延年。田延年说：“将军作为国家的柱石，既然发觉这个人不可委以社稷，为什么不向太后建议禀报，另外选一个贤能之人立他为帝呢？”霍光说道：“我也想这么办，不知在古代有没有这样的先例？”田延年答道：“伊尹任殷朝丞相的时候，就废黜了太甲用来安定国家，后代的人都称赞他的忠诚。将军如果也能这样做，就是汉朝的伊尹了。”霍光就把田延年引荐为给事中，暗中同车骑将军张安世谋划，于是就在未央宫召集丞相、御史、将军、列侯、中二千石、大夫、博士等一同商议。霍光说道： “昌邑王行为昏聩淫乱，恐怕会危及国家，你们看怎么办？”众大臣大惊失色，不敢发言，衹是唯唯诺诺而已。田延年离开座席走上前来，手按住长剑说道：“先帝把年幼的孤儿托给将军，把天下交付给将军，是因为将军忠诚贤能，能够稳固刘氏的天下。如今群臣百姓鼎沸，国家将要倾覆。而且汉朝皇帝相传的谧号常用“孝”字，是为了长久地拥有天下，让宗庙永久享受祭祀。如今汉家将要断绝香火，将军即使以死谢罪，又有什么脸面到九泉之下去见先帝呢？今天的议事，应当即刻解决。群臣中如果有拖延回答的，臣下请求用这把剑斩了他。”霍光告罪说：“九卿责备我是对的。天下骚动不安，我应当受到责罚。”于是参加议事的大臣都叩头说道：“万民的性命都系在将军一人的身上，我们愿听将军的指示。”
霍光立刻同群臣一起谒见禀告太后，详细陈述昌邑王不能继承皇位的情况。皇太后于是乘车来到未央承明殿，诏令各个宫禁门卫不要放昌邑王的群臣进宫。昌邑王进宫朝见太后返回，准备坐辇车回到温室，宫中的黄门宦官各自手持门扇，等昌邑王进去后，就把宫门关上，昌邑王的群臣就进不来了。昌邑王问道： “这是干什么？”大将军跪下说：“皇太后有诏令，不让昌邑王的群臣进来。”昌邑王说：“慢点来，为什么要弄得这么吓人！”霍光派人将昌邑王的群臣全部驱逐出宫，集中在金马门外。车骑将军张安世率领羽林骑士拘捕捆绑了二百多人，都交给廷尉关在诏令所规定的监狱内。并命令原昭帝的侍中、中常侍看守昌邑王。霍光告诫他们说：“你们要小心值班守卫，昌邑王如果突然死了或自杀，就会让我对不起天下人，背上杀害君王的罪名。”昌邑王这时还不知道自己要被罢黜，对身边的人说：“我原来的群臣随员有什么罪，而大将军全把他们关押起来了。”不久，太后下诏召见昌邑王。昌邑王听到要召见自己，心中开始害怕起来，于是说：“我犯了什么罪要召见我厂太后披着珍珠缀成的短袄，穿着盛装坐在布置兵器的帷帐中，几百名宫廷卫士都拿着武器，期门武士持戟守卫台阶，他们都排列在殿下。群臣按顺序走进殿来，叫昌邑王伏在前面听诏令。霍光同各位大臣一起联名奏劾昌邑王，尚书令宣读奏章道：臣丞相杨敞、臣大司马大将军霍光、臣车骑将军张安世、臣度辽将军范明友、臣前将军韩增、臣后将军趟充国、臣御史大夫蔡谊、臣宜春侯王谭、臣当涂侯魏圣、臣随桃侯趟昌乐、臣杜侯复陆屠耆堂、臣太仆杜延年、臣太常苏昌、臣大司农田延年、臣宗正刘德、臣少府史乐成、臣廷尉李光、臣执金吾李延寿、臣大鸿胪韦贤、臣左冯翊田广明、臣右扶风周德、臣长信少府傅嘉、臣典属国苏武、臣京辅都尉赵广汉、臣司隶校尉辟兵、臣诸吏文学光禄大夫王迁、臣宋畸、臣丙吉、臣赐、臣管、臣胜、臣梁、臣长幸、臣夏侯胜、臣太中大夫德、臣趟印冒死罪禀告皇太后陛下：臣杨敞等人顿首死罪。天子之所以能够长久保持宗庙并拥有天下，是因为他能够以慈孝、礼义、赏罚分明作为根本。孝昭皇帝由于遇早地离开人间，没有继承人，臣杨敞等人商议，根据礼所说的“做某人的继承人的人就是他的儿子”，昌邑王适于做继承人，于是便派遣宗正、大鸿胪、光禄大夫等官员奉持符节出使征召昌邑王来主持昭帝的丧事。昌邑王穿上丧服后，却没有悲哀的意思，而且还弃礼义于不顾，在路上不吃素食，派遣随从官吏抢掠女 人，用遮蔽的车子把她们弄到他所住的驿馆。从刚开始到达京城谒见太后被立为皇太子起，就经常私下买鸡、猪来吃。在昭帝灵柩前接受信玺、行玺后，就在居丧的地方打开玺印不再封上。随从的官员又拿着符节，带领吕邑王的从宫、马官、官奴二百多人进宫，经常与他们在禁宫中玩耍游戏。亲自到保管符玺的地方取走十六根符节，早晚去灵柩前哭祭时，让随从的官员轮换着拿着符节跟着。还写信说： “皇帝问候侍中君卿：派中御府的长官高昌送去黄金一千斤，赐给君卿娶十个妻子。”孝昭皇帝的灵柩还停放在前殿，便叫人取出乐府的乐器，把昌邑国的乐人引进宫来，击鼓歌唱、吹奏乐器，扮演戏子。等到灵柩下葬返回，就到前殿去敲打钟磬，还把泰壹宗庙的乐人沿着辇道引到牟首，击鼓吹奏，载歌载舞，演奏各种音乐。从长安厨取出三副太牢供品，陈放在阁室中进行祭祀，祭祀完毕，就同随从的官员大吃大喝。驾着皇帝出行时专用的车马，车上蒙着虎皮，插着鸾旗，驱车跑到北宫、桂宫，追野猪，斗老虎。又召来皇太后用的小马车，叫官奴骑乘，在嫔妃居住的掖庭中嬉笑娱乐。还同孝昭皇帝的宫人蒙等行淫乱之事，下诏对掖庭令说，有敢泄露外传的人就要处以腰斩之刑。太后说：“停一下！为人臣子怎么能这样糊涂放肆呢！”昌邑王离开席位伏在地上。尚书令又读道：昌邑王取出诸侯王、列侯、二千石的绶带以及黑色、黄色绶带一起给昌邑国的郎官佩戴，把他们免为良人。将符节上的黄旄改为红色。把御府中的金子钱币，刀剑玉器，彩色绸缎赏给一同嬉游娱乐的人。同随从的官员以及没入官府的奴隶整夜聚饮，沉湎于酒中。下韶叫太官送上皇帝平时的膳食。食监奏道，没有除去丧服不可进用平曰的饭菜，就下诏叫太官赶快准备，不要通过食监。太官不敢去准备，就派侍臣去宫外买来鶸和猪，下诏给宫殿门卫叫他们放行，以此作为常规。独自在夜晚于温室设九宾之礼，把他的姐夫昌邑关内侯请来相见。列祖列宗的祭庙还没有举行，就作玺书派使者拿着符节，用三副太牢祭祀昌邑哀王的陵园宗庙，自称为嗣子皇帝。接受皇帝玺印以来的二十七天中，使者往来不绝，拿着符节向各个官署下达韶令征索物品，共有一千一百二卜七起。文学光禄大夫夏侯胜等以及侍中傅嘉几次为他的过失进言规劝，他就派人拿着文书责备夏侯胜，并把傅嘉绑起来关进牢裹、、他荒淫昏乱，失去帝王的礼义，破坏丁汉朝的制度。臣杨敞等人几次进言规谏，他都不改变过错，反而一天比一天厉害，恐怕要危害国家，天下不安。