当初，上官桀的儿子上官安娶了霍光的女儿为妻，两家结为姻亲，关系密切，霍光每当休假外出时，上官桀经常代替他处理国家大事。昭帝即位的时候衹有八岁，由人姐鄂邑盖长公主住在宫裹，抚育晅童。公主和盖堡的门客迥塱人工处人私通。晅童和大将军霆光听说了这件事，不愿断绝公主的私情，就下诏命令工夕丛侍奉公主。公主挑选了周阳氏的女子送进宫来，把她许配给昭帝。正好上官安也有个女儿，也就是霍光的外孙女，上官安就劝说霍光把这个外孙女送进宫去。霍光认为孩子还小，就没有答应。上官安平时和丁外人很要好，就去劝说丁外人：“听说长公主要挑选女子进宫，我的女儿容貌端正，如果能趁长公主选女入宫的机会进宫做了皇后，我们父子在朝廷为官，又有椒房为倚重，就全靠你成全了，汉家的旧例是让列侯娶公主为妻，你还担心封不了侯吗？”丁外人十分高兴，把这件事告诉公主，公主认为很有道理，就下韶让上官安的女儿进宫做了使伃，上官安封为骑都尉。又过了一个多月，就册立上官氏为皇后，她才衹有六岁。
上官安因为是皇后的父亲，被封为桑乐侯，封邑一千五百户，升为车骑将军，越来越骄横淫逸。他在殿上领受赏赐，出来后对宾客说： “和我的女婿一起喝酒，真快活！”炫耀所得的服饰，派人拿回家裹，打算自己燔烧供品祭神。上官安喝醉了酒，就光着身子在内宅行走，和他的继母以及父亲的姬妾侍婢淫乱。他的儿子病死了，就仰面怒骂上天。他屡次向霍光请求给丁外人封侯，上官桀也妄想给丁外人加官晋爵，霍光秉公办事，都没有同意。又上官桀妻子的父亲宠爱的充国是一名太医监，擅自跑到殿上，被捉拿下狱，按法律应当处以死罪。冬天快要过去的时候，公主替充国交纳二十匹马以赎罪，这才免去他的死罪。因此上官桀、上官安父子深深地怨恨霍光，而感激公主的恩德。他们得知昭帝的哥哥燕王刘旦，因没有被立为皇帝，也心存怨恨，上官桀和上官安就记录下霍光的过失告诉给燕王，让他给昭帝上书告发霍光，并替丁外人求侯爵之位。燕王大喜，就上书声称：“子路的姐姐死了，一周年后他还不脱掉丧服，孔子批评他。子路就说：‘我不幸，没有兄弟，因此不忍心脱掉为姐姐穿的丧服。’所以说‘看人的过失，可以知道他仁与不仁，。现在我和陛下衹有长公主一位姐姐，陛下隆恩让丁外人侍奉公主，丁外人应当封赏爵号。”上奏之后，昭帝询问霍光的意见，霍光坚持不同意。等到燕王又上书告发霍光有罪，昭帝更加怀疑，越发亲近霍光而疏远上官桀和上官安。上官氏父子逐渐恼羞成怒，就暗地裹集结党羽阴谋杀害霍光，诱骗燕王来京把霍光杀掉，然后废掉昭帝立上官桀为皇帝。有人说：“皇后可怎么办呢？”上官安说：“追逐麋的猎狗，还顾得上小兔子吗？况且依靠皇后得到尊位，一旦皇上变了主意，那就想做平民都不可能了，无论什么朝代都是这样的。”事情败露后，燕王、盖长公主都自杀。这件事记载在《霍光传》里。上官桀、上官安父子被灭族，皇后年幼，没有参预这次谋反，又是霍光的外孙女，因此没有被废掉。皇后的母亲在这之前就已经去世了，埋葬在茂陵郭的东面，追加尊号为敬夫人，设置陵园和二百户人家，园陵之长和丞依例祭扫和守卫。皇后自行派手下的奴婢去看护上官桀、上官安的坟墓。
霍光希望皇后能够专宠，生下儿子，昭帝的身体经常不舒服，左右的侍者和医官都阿附霍光的心意，说应当节制欲望，即使是宫女也命令她们穿上绲裆裤，又束上许多衣带，因此后宫女子没有能够进幸的。
上官皇后被册立为后的第十年，昭帝去世。皇后才十四五岁。昌邑王刘贺被召来做了皇帝，尊上官皇后为皇太后。后来，霍光与太后一起废掉刘贺，改立孝宣帝。宣帝即位后，太后成为太皇太后。上官氏一共在位四十七年，建昭二年她五十二岁时去世，舆昭帝合葬在平陵。
卫太子史良娣，是宣帝的祖母。太子有妃，有良娣，还有孺子，妻妾一共分三个等级，儿子都称为皇孙。史良娣原籍鲁国，有母亲叫做贞君，哥哥叫史恭。史氏在元鼎四年进宫做了太子良娣，生下儿子刘进，称为史皇孙。
武帝末年，发生了巫蛊之祸，卫太子和良娣、史皇孙都被杀害。史皇孙有一个儿子，称作皇曾孙，当时刚出世几个月，也受太子牵连被关进监狱，到了五岁才被赦免。管理监狱的使者邴吉怜悯皇曾孙无处可去，就把他交给史恭抚养。史恭的母亲贞君年岁已老，看到这孩子孤苦零仃，心里非常难过，就亲自照看这个孩子。
后来，皇曾孙被收养在掖庭，又登基做了皇帝，就是宣帝。此时贞君和史恭已经去世了，史恭的三个儿子都因为旧曰的恩情得到封赏。长子史高封乐陵侯，史曾封将陵侯，史玄封平台侯，到了史高的儿子史丹凭着功劳和德行被封为武阳侯，史氏家族中一共有四个人封侯。史高官至大司马车骑将军，史丹做到左将军，他们分别有自己的列传。
史皇孙王夫人，是宣帝的母亲，名叫翁须，太始年间得到史皇孙的宠爱。皇孙的妻妾没有名号，都称为家人子。征和二年，翁须生下宣帝。宣帝出世才几个月，卫太子、史皇孙败亡，家人子都牵连被害，尸体也没能收殓下葬，衹有宣帝保全了性命。宣帝即位后，追尊母亲王夫人的谧号为悼后，祖母史良娣谧号为戾后，都重新安葬，设置陵园和人家，令长丞奉守。这件事记载在《戾太子传》。地节三年，宣帝找到了外祖母王媪，王媪的儿子王无故，无故的弟弟王武都跟随使者赶赴皇宫。当时他们乘坐黄牛车，所以老百姓称王媪为黄牛妪。
当初，宣帝即位后，多次派使者去寻找外祖母家的人，但由于年代久了，有很多人都很像却并不是。找到王媪之后，派太中大夫任宣与丞相御史手下的官吏去询问同乡那些认识她的人，都说她是王妪。王妪说自己名叫妄人，原籍涿郡蠡吾平乡。十四岁时嫁给同乡王更得为妻。更得死后。又嫁给广望王乃始为妻，生下儿子王无故、王武和女儿翁须。翁须八九岁时，寄养在广望节侯的儿子刘仲卿家裹，仲卿对乃始说：“把翁须给我，我帮你养大她。”王媪给翁须做了春夏季的衣服，送到仲卿家。仲卿教翁须学习歌舞，翁须回来取过几次冬夏穿的衣服。过了四五年，翁须回来说“邯郸贾长儿来要能歌擅舞的人，仲卿想把我给他。”王媪就和翁须一起逃走，到了平乡。仲卿带着乃始一同寻找王媪，王媪很害怕，就领着翁须回去，说：“我女儿住在你家，没有得到一个钱，怎么能把她给别人呢？”仲卿骗她说：“不会的。”几天之后，翁须坐在买长儿的车上路过家门，她大声呼叫： “我果然被送走了，要到柳宿去。”王媪和乃始到了柳宿，见到翁须后相对而泣，对她说：“我们要为你告状。”翁须说： “母亲就算了吧，哪一家不能住呢？告状也没有用。”王媪和乃始回去筹集钱财，又跟随到中山卢奴，看到翁须和几名歌舞女子一共五人在一起，王媪和翁须一同睡下。第二天，乃始留在那裹看护翁须，王媪回去拿钱，打算跟着他们再到邯郸。王媪回家后，还没准备好钱物，乃始回来说： “翁须已经走了，我没钱，无法跟着她们。”于是断绝了联系，再也没有听到翁须的消息。贾长儿的妻子贞以及跟随着的歌舞教师遂的供辞上说：“二十年前，太子舍人侯明从长安来，要几名歌舞女子，就选走了翁须等五个人。买长儿让遂把她们送到长安，都进了太**中。”又有广望三老更始、刘仲卿的妻子其等四十五个人的证词，都可以作为凭据。任宣上奏说王媪确实是悼后的母亲，宣帝召见了她们，赏赐王怨故、王武为关内侯，几个月裹，赏赐他们财产巨万。不久，又下韶给御史，封外祖母为博平君，把博平、蠡吾两县作为她的封邑，包括一万一千户人家。封舅舅王无故为平吕侯，王武为乐昌侯，封邑各有六千户人家。