安世曾经推荐官员任职，其人来谢，安世很后悔，认为举贤达能，岂有私谢之理？便与此人断绝来往。有一郎官自言功高不升职，安世说：“君之功高，明主所知。人臣供职，哪裹能自言长短！”拒绝提升他。可是不久这个郎官却升迁。幕府长史调任他职，辞官时安世向他征求自己有何过失。长史说：“将军为明主股肱，而士无升进，人们都讽刺你。”安世说：“明主在上，贤与不肖分得清楚，臣子们自修而已，怎么会了解士人而进行推荐？”他想匿名迹远权势就是如此。
任光禄勋时，有郎醉酒小便于殿上，主事报告按法处理，安世说：“怎么知道不是反水浆造成的呢？怎么能拿小过来治罪！”郎官奸淫官婢，婢兄自己说出，安世说： “奴仆发怒，诬蠛士大夫。”让官署责备奴仆。他隐人过失，都是这类情况。
安世看到父子尊贵显耀，心怀不安，替子延寿请求外出补官，皇上任为北地太守。一年多后，皇上可怜安世年老，又召延寿为左曹太仆。 当初，安世兄张贺得宠于卫太子，太子失败，宾客都被杀，安世为张贺上书，张贺被免死罪处以宫刑。后任掖庭令，而宣帝以皇曾孙收养在掖庭。张贺伤感太子无罪，而曾孙孤幼，所以看养抚慰，恩情深重。到曾孙长大，张贺教书，令受《诗》，为他娶了许妃，以自己家财为聘礼。曾孙多次有奇怪事情发生，事见《宣帝纪》。张贺听说，向安世讲明，称其才智。安世立即制止张贺，认为少主在位，不应称赞曾孙。到宣帝即位，而张贺已死去。皇上对安世说：“掖庭令平生称赞我，将军阻止，做得对。”皇上追念张贺恩，想追封为恩德侯，设守冢二百家。张贺有一子早死，无后，让安世少子彭祖为张贺养子。彭祖少时与皇上同席研读经书，打算封赏他，便先赐关内侯。安世坚持推辞封赏，又求减少守冢户数，减至三十户。皇上说：“我自己赏给掖庭令的，不是给将军的。”安世这才停止，不敢再说什么。皇上遂下韶说： “应为前掖庭令张贺设守冢三十家。”皇上自己安置其居住地方，居住在冢西斗鶸翁舍南，皇上少年时曾经游玩之处。第二年，又下韶说：“朕幼小时，故掖庭令张贺辅导朕身，修研文学经术，恩惠卓异，其功重大深厚。《诗》说：‘没有不回答的语言，没有不报答的恩德。’应封张贺弟子侍中关内侯彭祖为阳都侯，赐张贺谧号阳都哀侯。”当时张贺有孤孙张霸，年七岁，拜为散骑中郎将，赐爵关内侯，食邑三百户。安世因为父子封侯，在位显赫，便辞去俸禄。皇上便下诏都内府库另外收藏张氏无名钱以百万数。
塞世尊为公侯，食邑万户，然而身穿黑绨，夫人亲自纺绩，家奴七百人，皆有技术做事，内治产业，累积细微财物，因此能增殖产业，富于大将军重发。天子甚尊惧大将军，然而却内亲昼世，对霍光极力隐藏自己的心意。
元康四年春，安世病，上疏归还侯爵，乞求骸骨归故里。天子说：“将军年老生病，朕甚怜悯。虽不能办事，驰骋万里，君为先帝大臣，明晓治乱之道，朕所不及，得以多次询问，为何伤感而上书归还卫将军富平侯印？迫朕忘记故旧，不是我的愿望！愿将军勉强饮食，服医药，专一精神，以便辅养天年。”安世又强起办事，到秋季去世。天子赠印绶，送来轻车甲士，谧号敬侯。赐冢地在杜县束，挖上起冢，建祠堂。子延寿嗣爵位。
延寿已历位九卿，嗣侯位之后，封国在陈留，别邑在魏郡，租税收入每年千余万。延寿自以身无功德，怎么能久居尢人大国，多次上书请减户邑，又用弟弟阳都侯彭祖之口陈述至诚之心。天子以为有谦让之德，便徙封平原郡，合并为一国，户VI如故，而租税减半。去世后，谧号爱侯。子张勃嗣，为散骑谏大夫。
元帝初即位，诏令列侯举茂材，张勃举太官献丞陈汤。陈汤有罪，张勃受牵连削户二百，正遇去世，故谧号缪侯。后陈汤立功西域，世人称颂张勃知人。子张临继嗣。
张临亦谦虚俭朴，每次登阁殿，常叹道：“桑、霍为我戒，岂不教训很深！”快死时，将财产分别送给宗族故旧，薄葬不起坟。张临娶敬武公主。去世后，子张放嗣位。
鸿嘉年间，皇上想遵武帝旧制，与近臣游宴，张放因是公主之子人又聪明受到宠爱。张放娶皇后弟平恩侯许嘉之女，皇上为张放筹办，赐甲第住宅，增乘舆服饰，号称天子娶妇，皇后嫁女。皇帝、皇后派来的官员均供给宅第使用，两宫使者车马不绝，赏赐以千万数。张放任侍中中郎将，监平乐屯兵，设幕府，礼仪与将军相同。与皇上起卧，倍受宠爱，时常跟随便衣出游，北至甘泉，南至长杨、五榨，斗鶸走马长安城中，达敷年之久。
当时皇上诸舅皆恨张放受宠，告诉太后。太后以皇上年少，行为不加节制，便严厉责备张放。当时多有灾异，人们都归咎于张放等人。于是丞相薛宣、御史大夫翟方进上奏：“张放骄纵不拘，奢淫不加节制。前侍御史修等四人奉命到张放家捕贼，当时张放在场，从奴闭门设兵弩射捕吏，拒绝使者入内。知男子李游君欲献女，派乐府音监景武强求不得，张放便派家奴康等到李游君家，残伤三人。又因官府事怨恨乐府游徼莽，派大奴骏等四十余人群党持兵弩，白天闯入乐府攻射官署，捆绑长吏子弟，打破器物，宫中人皆奔走藏匿。莽自戴刑具，穿上囚犯穿的赭衣，还有守令史调等人都赤脚叩头向张放谢罪，张放才停止。从奴下属乘权势行暴虐，强夺官吏妻子不成，便杀其夫，有时因恨一人，便妄杀人家的亲属，立即逃入张放家，捕捉不到，侥幸未被惩治。张放行为轻薄，连犯大罪，有动摇阴阳之罪责，为臣不忠以张放为首，罪名虽显著，以前还蒙受皇恩。骄逸违理，与背叛无异，臣子的罪恶，莫大于此，他不再适合担任宿卫要职。臣请罢免张放归封国，消除种种罪恶的发生，以便满足海内民心。”
皇上不得已，贬张放为北地都尉。数月，又征召入侍中。太后因为张放又出面说话，调张放为天水属国都尉。永始、元延年间，连年日食，因此很久不召回张放，皇上便下诏书慰劳不绝。过了一年多，征召张放归家视母公主疾病。数月，皇上有病初愈，调张放为河东都尉。皇上虽爱张放，然而迫于太后，又听用大臣，因此常常为遣送张放而流泪。后又征召张放为侍中光禄大夫，秩中二千石。一年多，丞相方进又论奏张放，皇上不得已，罢免张放，赐钱五百万，遣送就国。数月，成帝驾崩，张放也因思慕哭泣而死。
当初，安世长子千秋与霍光子霍禹都为中郎将，率兵随度辽将军范明友击乌桓。还，拜谒大将军霍光，问千秋战斗方略，山川形势，千秋随El回答战事，在地上画成地图，没有遗漏。霍光再问霍禹，霍禹不能记，说： “全有文书记录。”霍光从此认为千秋有才能，以霍禹为无能，叹着气说：“霍氏家世要衰败，张氏要兴旺了！”到霍禹诛灭，而安世子孙相继兴起，从宣帝、元帝以来任侍中、中常侍、诸曹散骑、列校尉的十余人。功臣之世，衹有金氏、张氏，亲近宠贵，可与外戚相比。