宣帝刚登基时，就册封卑贱而未显达时所娶的许妃为皇后。显很喜爱她的小女儿成君，想使她得到富贵，就暗自派产科医生淳于衍下毒药杀死许后，乘机劝霍光要宣帝娶成君，取代许后成为皇后。这些事《外戒传》中有记载。当时许后突然死亡之时，官吏逮捕了宫中所有医生，并弹劾淳于衍在治病过程中行迹可疑，不合常理，就把他关进了监狱。狱吏对他审问得很急迫，显害怕事情败露，就把实情告诉了霍光。霍光大吃一惊，想亲自去告发这件事又不忍心，正在犹豫。适逢此案的奏章上报，霍光就乘机批覆对淳于衍不必再追究。霍光薨后，真相开始慢慢泄露出去。对这件事皇上衹是刚听说到但不明虚实，就调动霍光的女婿度辽将军未央宫的卫尉平陵侯范明友任光禄勋，第二个女婿诸吏中郎将羽林监任胜出任安定太守。几个月后，又调出霍光姐姐的女婿给事中光禄大夫张朔任蜀郡太守，孙女婿中郎将王汉为武威太守。遇了不久，又调霍光的大女婿长乐宫卫尉邓广漠任少府。再调霍禹任大司马，衹戴小帽子，没有印章，撤销了他的右将军及所统辖的驻军官兵，衹是让霍禹的官名与霍光一样，都是大司马。又收回范明友度辽将军的官印，衹让他任光禄勋。还有霍光的三女婿赵平为散骑骑都尉光禄大夫统领驻军，又把趟平的骑都尉官印收回。所有统领的胡人、越人骑兵、羽林军以及两宫卫队所统领的士兵，都改为由宣帝所亲信的许、史两家子弟代为统领。
霍禹被任命为大司马后，就称说有病。霍禹原先的长史任宣来探望问候，霍禹说道：“我哪裹有什么病？天子不是靠我家将军怎么能到现在的地步，如今将军的坟墓还没有干，他就一律疏远排斥我们家族，反而任用许、史两家的人员，还没收了我的官印，真让人死都弄不明白。”任宣见霍禹怨恨很深，就对他说道：“大将军的时代怎么还能再有！把持国家的权柄，生杀予夺操在手中。廷尉李种、王平、左冯翊贾胜胡以及车丞相的女婿少府徐仁都因冒犯大将军的意旨而被下狱处死。使乐成这样的小户人家子弟因为受到将军宠爱，官至九卿，爵为列侯。百官以下衹事奉冯子都、王子方等人，根本不把丞相放在眼里。这是各自有自己的时代，如今许、史两家是天子的骨肉姻亲，得到尊贵正是理所当然。大司马如果因此而心怀怨恨，我认为不应该。”霍禹听后沉默不语。过了几天，霍禹又上朝处理事务。
显和霍禹、霍山、霍云眼看着自己的权势一天天被削夺，几次相对流泪啼哭，自相埋怨。霍山说：“现在丞相执政，受到皇帝信赖，全部改变大将军当时制定的法令，将公田授给贫民，以宣扬大将军的过失。又有诸位儒生，大多是穷人子弟，远道而来客居京城，衣食不保，却喜欢口出狂言，不避忌讳，大将军曾对这些人忌恨如仇，如今陛下却喜欢同众儒生交谈，又让他们自行上书答对政事，这些人就尽说我们家的事。曾经有人上书说大将军在时，主弱臣强，揽权独裁，如今他的子孙当权，兄弟们更加骄横恣肆，恐怕将要危及宗庙社稷，灾异怪事频繁出现，都是因为这个缘故。他的话说得极其痛切，我就压下没有把此书上奏。后来上书的人更加狡猾，全都使用密封奏事，皇上就叫中书令出来取走，不通过尚书，皇上越来越不信任我了。”显问道：“丞相屡次说我家的事，难道就没有罪过吗？”霍山答道： “丞相廉洁正直，哪裹能有罪？我家的弟兄们和各位女婿大多行为不慎。又听民间盛传说霍家用毒杀死了许皇后，真有此事吗？”显很害怕，就全部将实情告诉了霍山、霍云、霍禹。霍山、霍云、霍禹惊慌地说道：“像这等事情，为什么不早对我们说呢？天子离散斥逐我们家的几个女婿，是因为这个缘故啊。这是一件大事，处罚可不会轻，怎么办？”从此他们就开始有了邪谋。
当初，赵平的门客石夏知晓天文，他对赵平说：“荧惑守着御星，御星是太仆奉车都尉的星宿，他们不是被贬官就是被杀死。”趟平内心替霍山等人担忧。霍云的舅舅李竟的好友张赦见霍云家族岌岌可危，就对李竟说：“如今丞相与平恩侯当权，可以叫太夫人告诉太后，先把这两个人杀了。罢黜陛下，就在于皇太后。”长安男子张章告发了这件事，宣帝就把此事交给廷尉处理。执金吾拘捕了张赦、石夏等人，后来又有韶令制止，不准拘捕。霍山等人更加恐慌，相对说道：“这是天子看重太后的面子，所以没有深究。但是凶兆已显现，又有毒杀许后的事，陛下即使宽大仁厚，就怕他左右的人不听，时间久了仍然会追查，一旦查清就要被灭族，我们不如先动手。”于是就叫几个女儿各自回去告诉自己的丈夫，都说：“哪裹还有地方避难呢？”
适逢李竟因与诸侯工勾结而致罪，供辞中涉及霍氏，宣帝就下韶说霍云、霍山不宜在宫中供职，免官回家。霍光的几个女儿对待太后无礼，冯子都数次犯法，皇上就一同加以责问，霍山、霆噩等人感到很害怕。题在梦中见到住宅中的井水溢出流到厅堂下，厨房裹的炉灶挂在了大树上，又梦见大将军对显说：“你知道我们的儿子要被捕了吗？他们很快就会来捕人的。”住宅中的老鼠一下多了起来，与人相互碰撞，用尾巴在地上乱画。猫头鹰几次在殿前的树上叫唤。住宅的门无缘无故毁坏，霍云尚冠里住宅中的门也无缘无故地坏了。街巷口的人都看到有人坐在霍云的屋顶上，揭下瓦片扔到地上，到跟前去看，却又没有见到人，感到非常奇怪。霍禹梦中听到车马喧喧嚷嚷地来捕捉他，全家对这些怪事感到忧愁。霍山说道：“丞相擅自减少宗庙供品的羔羊、兔子、青蛙，可以用这来定他的罪。”他们设谋叫太后为博平君设置酒席，把丞相、平恩侯以下的官员召来，让范明友、邓广汉奉太后的制令将这些人拉出去斩首，乘机罢除天子而立霍禹为帝。相约定的计划还没有实施，霍云就被任命为玄菟太守，太中大夫任宣被任命为代郡太守。霍山又因为抄写宫禁秘书犯法，显为此上书表示愿献出城西的宅第及一千匹马用以赎霍山的罪。宣帝在奏书上衹批覆知道了。刚好他们密谋的事被发觉，霍云、霍山、范明友自杀，显、霍禹、邓广汉等人被捕捉到。霍禹被腰斩，显及她的几个女儿兄弟都被处死。惟独霍后被废黜幽禁在昭台宣。与星医相牵连而被定罪诛杀灭族的有好几千家。
宣壶于是下韶说：“不久以前束织室令史张赦指使魏郡的大户李竟给冠阳侯霍云回话，密谋犯上作乱，朕因为大将军的缘故，就将事情压住没有公开，希望他们能改过白新。如今大司马博陆侯霍禹和他的母亲宣成侯的夫人显以及堂弟的儿子冠阳侯霍云、乐平侯霍山和他们姊妹的女婿们阴谋造**，企图连累百姓。幸亏祖宗的神灵保佑，被事先发觉并捕获，全部都伏法处决。朕对这件事很痛心。所有被霍氏所连累的人，如果事情发生在丙申以前，还没有发觉报官在押的，一律赦免。男子张章先发觉了这件事，把它告诉了期门董忠，董忠又报告给左曹杨，杨惮报告给侍中金安上。杨惮被召见陈述情况，后来张章又上书报告。侍中史高与金安上建议告发这件事，说不准霍氏进入宫禁中，霍氏的阴谋才没有成功，他们都同样有功。特封张章为博成侯，董忠为高吕侯，杨惮为平通侯，金安上为都成侯，史高为乐陵侯。”