明年，昭帝崩，未葬，大将军光白太后，徙安世为车骑将军，与共征立昌邑王。王行淫乱，光复与安世谋，废王、尊立宣帝。帝初即位，褒赏大臣，下诏曰：“夫褒有德，赏有功，古今之通义也。车骑将军光禄勋富平侯安世，宿卫忠正，宣德明恩，勤劳国家，守职秉义，以安宗庙，其益封万六百户，功次大将军光。”安世子千秋、延寿、彭祖，皆中郎将侍中。
大将军光薨后数月，御史大夫魏相上封事曰：“圣王褒有德以怀万方，显有功以劝百寮，是以朝廷尊荣，天下乡风。国家承祖宗之业，制诸侯之重，新失大将军，宜宣章盛德以示天下，显明功臣以填藩国。毋空大位，以塞争权，所以安社稷绝未萌也。车骑将军安世事孝武皇帝三十余年，忠信谨厚，勤劳政事，夙夜不怠，与大将军定策，天下受其福，国家重臣也，宜尊其位，以为大将军，毋令领光禄勋事，使专精神，忧念天下，思惟得失。安世子延寿重厚，可以为光禄勋，领宿卫臣。”上亦欲用之。安世闻指，惧不敢当。请闻求见，免冠顿首曰：“老臣耳妄闻，言之为先事，不言情不达，诚自量不足以居大位，继大将军后，唯天子财哀，以全老臣之命。”上笑曰：“君言泰谦。君而不可，尚谁可者！”安世深辞弗能得。后数日，竟拜为大司马车骑将军，领尚书事。数月，罢车骑将军屯兵，更为卫将军，两宫卫尉，城门、北军兵属焉。
时，霍光子禹为右将军，上亦以禹为大司马，罢其右将军屯兵，以虚尊加之，而实夺其众。后岁余，禹谋反，夷宗族，安世素小心畏忌，已内忧矣。其女孙敬为霍氏外属妇，当相坐，安世瘦惧，形于颜色，上怪而怜之，以问左右，乃赦敬，以尉其意。安世浸恐。职典枢机，以谨慎周密自著，外内无间。每定大政，已决，辄移病出；闻有诏令，乃惊，使吏之丞相府问焉。自朝廷大臣莫知其与议也。
尝有所荐，其人来谢，安世大恨，以为举贤达能，岂有私谢邪？绝井复为通。有郎功高不调，自言，安世应曰：“君之功高，明主所知。人臣执事，何长短而自言乎！”绝不许。已而郎果迁。莫府长史迁，辞去之官，安世问以过失。长史曰：“将军为明主股肱，而士无所进，论者以为讥。”安世曰“明主在上，贤不肖较然，臣下自修而已，何知士而荐之？”其欲匿名迹远权势如此。
为光禄勋，郎有醉小便殿上，主事白行法，安世曰：“何以知其不反水浆邪？如何以小过成罪！”郎淫官婢，婢兄自言，安世曰：“奴以恚怒，诬污衣冠。”告署適奴。其隐人过失，皆此类也。
安世自见父子尊显，怀不自安，为子延寿求出补吏，上以为北地太守。岁余，上闵安世年老，复征延寿为左曹、太仆。
初，安世兄贺幸于卫太子，太子败，宾客皆诛，安世为贺上书，得下蚕室。后为掖庭令，而宣帝以皇曾孙收养掖庭。贺内伤太子无辜，而曾孙孤幼，所以视养拊循，恩甚密焉。及曾孙壮大，贺教书，令受《诗》，为取许妃，以家财聘之。曾孙数有征怪，语在《宣纪》。贺闻知，为安世道之，称其材美。安世辄绝止，以为少主在上，不宜称述曾孙。及宣帝即位，而贺已死。上谓安世曰：“掖廷令平生称我，将军止之，是也。”上追思贺恩，欲封其冢为恩德侯，置家冢二百家。贺有一子蚤死，无子，子安世小男彭祖。彭祖又小与上同席研书，指欲封之，先赐爵关内侯。故安世深辞贺封，又求损守冢户数，稍减至三十户。上曰：“吾自为掖廷令，非为将军也。”安世乃止，不敢复言。遂下诏曰：“其为故掖廷令张贺置守冢三十家。”上自处置其里，居冢西斗鸡翁舍南，上少时所尝游处也。明年，复下诏曰：“朕微眇时，故掖廷令张贺辅道朕躬，修文学经术，恩惠卓异，厥功茂焉。《诗》云：‘无言不仇，无德不报。’其封贺弟子侍中关内侯彭祖为阳都侯，赐贺谥曰阳都哀侯。”时，贺有孤孙霸，年七岁，拜为散骑、中郎将，赐爵关内侯，食邑三百户。安世以父子封侯，在位大盛，乃辞禄。诏都内别臧张氏无名钱以百万数。
安世尊为公侯，食邑万户，然身衣弋绨，夫人自纺绩，家童七百人，皆有手技作事，内治产业，累织纤微，是以能殖其货，富于大将军光。天子甚尊惮大将军，然内亲安世，心密于光焉。
元康四年春，安世病，上疏归侯，乞骸骨。天子报曰：“将军年老被病，朕甚闵之。虽不能视事，折冲万里，君先帝大臣，明于治乱，朕所不及，得数问焉，何感而上书归卫将军富平侯印？薄朕忘故，非所望也！愿将军强餐食，近医药，专精神，以辅天年。”安世复强起视事，至秋薨。天子赠印绶，送以轻车介士，谥曰敬侯。赐茔杜东，将作穿复土，起冢祠堂。子延寿嗣。
延寿已历位九卿，既嗣侯，国在陈留，别邑在魏郡，租入岁千余万。延寿自以身无功德，何以能久堪先人大国，数上书让减户邑，又因弟阳都侯彭祖口陈至诚，天子以为有让，乃徙封平原，并一国，户口如故，而租税减半。薨，谥曰爱侯。子勃嗣。为散骑、谏大夫。
元帝初即位，诏列侯举茂材，勃举太官献丞陈汤。汤有罪，勃坐削户二百，会薨，故赐谥曰缪侯。后汤立功西域，世以勃为知人。子临嗣。
临亦谦俭，每登阁殿，常叹曰：“桑、霍为我戒，岂不厚哉！”且死，分施宗族故旧，薄葬不起坟。临尚敬武公主。薨，子放嗣。
鸿嘉中，上欲遵武帝故事，与近臣游宴，放以公主子开敏得幸。放取皇后弟平恩侯许嘉女，上为放供张，赐甲第，充以乘舆服饰，号为天子取妇，皇后嫁女。大官私官并供其第，两宫使者冠盖不绝，赏赐以千万数。放为侍中、中郎将，监平乐屯兵，置莫府，仪比将军。与上卧起，宠爱殊绝，常从为微行出游，北至甘泉，南至长杨、五莋，斗鸡走马长安中，积数年。
是时，上诸舅皆害其宠，白太后。太后以上春秋富，动作不节，甚以过放。时数有灾异，议者归咎放等。于是丞相宣、御史大夫方进奏：“放骄蹇纵恣，奢淫不制。前侍御史修等四人奉使至放家逐名捕贼，时放见在，奴从者闭门设兵弩射吏，距使者不肯内。知男子李游君欲献女，使乐府音监景武强求不得，使如康等之其家，贼伤三人。又以县官事怨乐府游徼莽，而使大奴骏等四十余人群党盛兵弩，白昼入乐府攻射官寺，缚束长吏子弟，斫破器物，宫中皆奔走伏匿。奔自髡钳，衣赭衣，及守令史调等皆徒跣叩头谢放，放乃止。奴从者支属并乘权势为暴虐，至求吏妻不得，杀其夫，或恚一人，妄杀其亲属，辄亡人放弟，不得，幸得勿治。放行轻薄，连犯大恶，有感动阴阳之咎，为臣不忠首，罪名虽显，前蒙恩。骄逸悖理，与背畔无异，臣子之恶，莫大于是，不宜宿卫在位。臣请免放归国，以销众邪之萌，厌海内之心。”