张汤的宾客田甲，虽然是商人，但是有贤良的品行。当初张汤当小官时，跟他是金钱朋友，等到张汤当上了大官，田甲责备张汤品行道义方面的过错，也有忠义慷慨之士的风度。
张汤担任御史大夫七年，垮台了。
河东人李文曾经跟张汤有嫌隙，后来担任了御史中丞，多次从宫廷文书内容发现可以用来害张汤的问题，不给留一点余地。张汤有个喜爱的属吏叫鲁谒居，知道张汤为此愤愤不平，指使一个人上紧急奏章告发李文的坏事。这事下交张汤处理，张汤审理判决杀掉了李文，而张汤内心知道这事是鲁谒居干的。皇上问道：“上书告发紧急事件的线索是怎样发生的？”张汤假装惊奇说：“这大概是李文的熟人怨恨他。”后来鲁谒居患病躺在乡村的房东家裹，张汤亲自前往探望病情，替谒居按摩腿脚。趟国人以冶炼铸造为职业，赵王多次为政府设置铁官的事打官司，张汤常常打击趟王。趟王寻求张汤的阴私事。鲁谒居曾经检举趟王，趟王怨恨他，于是一并上书告发：“张汤是大臣，小吏鲁谒居有病，张汤竟至于给他按摩腿脚，怀疑他和鲁谒居一起干了大坏事。”这事下交廷尉处理。鲁谒居病死丫，问题牵连到他的弟弟，他的弟弟被关押在导官署。张汤也到导官署审理别的囚犯，看见了鲁谒居的弟弟，想暗地裹帮他的忙，而假装不理睬他。鲁谒居的弟弟不懂事，怨恨张汤，派人上书告发张汤和鲁谒居密谋，共同告发李文。遣事下交减宣处理。减宣曾经和张汤有隔阂，等到他接受这件事，把这件事追查得水落石出，没有上奏。恰逢有人偷挖汉文帝陵墓埋的殉葬钱，丞相青翟上朝，跟张汤约定一起谢罪，到了皇上面前，张汤想到衹有丞相按四季巡视陵园，应当谢罪，与我没有干系，没有谢罪。丞相谢罪后，皇上派御史查办这件事。张汤要按知情故纵的条款处理丞相，丞相忧虑这件事。丞相手下三个长史都忌恨张汤，想要陷害他。
起初，长史朱买臣向来怨恨张汤，事见《朱买臣传》。王朝是齐地人，凭儒学做到右内史。边通学纵横捭阖术，是个刚强*烈的粗汉子，官至济南国相。他们从前地位都在张汤之上，不久丢了官，代理长史，委屈服事张汤。张汤多次兼理丞相职务，知道逭三个长史一向骄贵，就时常欺侮压抑他们。因此三个长史一起谋划说： “起初张汤相约跟丞相向皇上谢罪，接着又出卖丞相；如今想要拿祖宗的事来弹劾丞相，这是想取代丞相罢了。我们知道张汤的隐秘勾当。”于是派法官逮捕审查张汤的属下田信等人，说张汤将要奏请皇上，田信常常先知道那些事，因而囤积物资发了财，与张汤分脏。以及其他坏事。有关这些事情的供词很多都传播开来。皇上问张汤道： “我所做的一些事，商人们常常预先知道，越发囤积那些物资，这好像有人把我的打算事先告诉了他们似的。”张汤不谢罪，又假装惊讶道：“好像有。”造时减宣也上奏关于鲁谒居的事情。皇帝果真认为张汤心怀奸诈，当面撒谎，派八批使者按文书所列罪状逐一责问张汤。张汤都自称没有追回事，拒不交代。于是皇上派趟禹责问张荡。盘过来到，斥责张汤说：“您怎么不识身份！您办理案件灭门绝族的有多少人家了！现在人家说您的问题都有具体情状，天子很不愿意让您入狱，想让您自己想办法，何必多对证呢？”张汤于是写报告说： “我没有些微的功劳，出身文书小吏，陛下宠幸让我担任三公，没有办法补救罪责。然而策划罪名陷害我的，是三个长史。”便自杀了。
张汤死后，家产价值不超过五百金，都是所得俸禄和赏赐，没有别的家业。兄弟们和儿子们想要隆重地安葬张汤，张汤的母亲说：“张汤作为天子的大臣，遭受恶语诬蠛而死，怎么能隆重地安葬呢！”于是用牛车装载尸体，有内棺而无外椁。皇帝听到这件事，说道：“不是这样的母亲不能生出这样的儿子。”于是追究杀掉了三个长史。丞相青翟自杀了。从狱中放出田信。皇上怜惜退汤，又不断提拔他的儿子张安世。
塞世，字：鳄，少年时靠父亲地位任郎官。以熟悉图书供职尚书，精心尽职，休假也不曾外出。皇上驾临河东，曾丢失书籍三匣，诏问无人能知，衹有安世记得，并将所失图书的有关内容都写下来。后来购买得书，校对无所遗失。皇上奇其才，提升为尚书令，迁光禄大夫。
昭帝即位，大将军霍光执政，由于安世忠厚，霍光十分器重他。正值左将军上官桀父子及御史大夫桑弘羊皆与燕王、盖主谋反被杀，霍光由于朝中无旧臣，奏请任安世为右将军光禄勋，辅助自己。很久以后，天子下诏说： “右将军光禄勋安世辅政宿卫，肃敬不怠，十三年以来，平安无事。亲近亲人任用贤士，是尧、舜治国之道。封安世为富平侯。”
第二年，昭帝驾崩，未葬，大将军霍光告诉太后，调任安世为车骑将军，一同征立昌邑王。王行淫乱，霍光又与安世策划废王，尊立宣帝。宣帝初立，褒奖大臣，下韶说：“奖有德，赏有功，是古今的通义。车骑将军光禄勋富平侯安世，宿卫忠正，宣扬皇帝恩德，勤劳国事，恪守本职，遵守道义，维护宗庙，加封一万零六百户，功劳次于大将军霍光。”安世之子千秋、延寿、彭祖，都是中郎将侍中。
大将军霍光去世后数月，御史大夫魏相L密封奏书说：“圣王奖有德以招徕四方，显扬有功以劝导百官，因此朝廷得以尊荣，天下归服。国家承继祖宗之业，掌握诸侯的存亡，新失大将军，应宣扬圣德以昭示天下，表彰功臣以镇抚藩国。不要空悬大位，以免争权，这是安定社稷杜绝政争于未萌。车骑将军安世侍奉孝武帝三十余年，忠信谨慎，勤劳政事，日夜不怠，与大将军共定策，天下受其福，是国家的重臣，应尊其位，任为大将军，不要兼光禄勋事，使其专一精神，忧念天下，思考得失。安世之子延寿稳重厚道，可以任光禄勋，兼领宿卫职务。”皇上也想用安世父子。安世听说，惧不敢当，抽空求见，摘冠叩头说： “老臣妄自听说，事未执行而事先来说，我不先说明情况就不好办，实在是自量不足以居重要官位，继大将军后。希望天子裁定，以保全老臣性命。”皇上笑着说：“君言过谦。君要是不可以，还有谁可以！”安世坚辞而皇上不答应。数日后，还是拜为大司马车骑将军，兼领尚书事。数月，罢车骑将军屯兵，改为卫将军，两宫卫尉，城门、北军兵隶属安世。
当时霍光之子霍禹为右将军，皇上也任霍禹为大司马，撤去右将军屯兵，用官号虚尊加之，而实夺其兵权。一年多后，霍禹谋反，减宗族，安世一向小心畏忌，已很内忧。其孙女张敬为霍氏外亲族之妇，应当连坐被诛，安世瘦弱憔悴已形于色。皇上很奇怪而怜惜，便问左右，于是赦免了张敬，以安慰其心。安世更加恐惧。掌管国家政权，以谨慎周密著称，外内无漏洞。每定大政，已决定，立即称病移居，听到诏令，便吃惊，派人到丞相府询问。朝廷大臣不知安世参与预谋。