正逢许皇后被废，班侄仔供养束宫，进侍者李平为婕妤，而赵飞燕为皇后，班伯于是称病。时间长了，皇上出宫去探望班伯，班伯非常惶恐，起身上朝供事。
自从大将军王凤去世后，富平侯张放、定陵侯淳于长等开始受到宠幸，如果皇帝微服出行，则同坐一辆车一起握着马的缰绳；入侍宫中，则设宴饮酒，与赵飞燕、李平等和侍中一起狂饮，大声谈笑。当时他们乘坐的车帐中放着张有画的屏风，上面画的是商纣醉靠妲己通宵寻欢图。皇上因为班伯刚被起用，所以非常敬重他，因此回过头来指着画问班伯：“商纣无道，能到这个地步吗？”班伯回答说：“《尚书》上说‘于是听用妇人的言语’，哪裹有在朝廷上放纵这样的行为呢？所谓众恶归之，没有比这更过分的了。”皇上说：“如果不是这样，这张图画告诫的又是什么？”班伯回答道：“商纣‘沉湎于酒，，是微子离他而去的原因； ‘式号式呼’，是《大雅》之所以流连的。《诗经》、《尚书》所诫止的淫乱，。其本源都在于酒。”皇上长叹一口气说：“我很久没有见到班生了，今天又一次听到了正直的话！”张放等人很不高兴，过了一会儿便藉上厕所为名趁机出宫。当时长信宫中的庭林表派人前来，看到听到了这些情况。
后来皇上去束宫朝见太后，太后哭泣着说：“皇上近日面容削瘦，脸色发黑。班侍中本来是大将军所推举的，应当对他宠爱有加，使他舆你能够更加亲近，以便更好地辅佐圣上。而应当把富平侯逐出朝廷。”皇上回答道：“是。”车骑将军王音听说之后，暗示丞相御史上书言明富平侯的罪过，皇上于是放逐张放为边都尉。后来皇上又把张放征召入朝，太后给皇上写信说：“以前所讲的尚未奏效，今天富平侯却又入朝，我岂能默然不语？”皇上谢罪道：“请允许我现在执行您的意旨。”当时许商为少府，师丹为光禄勋，皇上于是征引许商、师丹二人为光禄大夫，班伯升迁为水衡都尉，和两位老师一起仟侍中，他们的俸禄均为二千石。皇上每每入束宫朝见太后，班伯经常跟从在后；逢朝中有大事，一起被派往向公卿大臣宣示皇上的意图。皇上也逐渐厌倦游乐宴饮之事，重新学习经书，太后非常高兴。丞相方进又上书，富干侯张放最终被放逐于朝外。逢班伯病故，年方三十八岁，朝廷上下均感同情惋惜。
班脾学识渊博、才智出众，左将军史丹以贤良方正察举班谆，班砖通过应对制策而担任议郎，又升迁为谏大夫、右曹中郎将，与刘向一起典校中秘藏书。班脖常奏校书之事，得以受诏宫于天子面前读书。皇上器重他的才能，把中秘之书的副本赏赐给他。当时书不能出示于群下，即使束平思王以叔父的名誉索求《太史公》、诸子书，大将军仍告诉他说不可以。事见《东平王传》。班脖也是英年早逝，他的儿子叫班嗣，名显当世。
班稚年轻时任黄门郎中常侍，方正刚直洁身自好。成帝晚年，立定陶王为太子，屡次派遣中盾询问近臣们的意见，惟独班稚不敢冒昧作答。哀帝登基之后，贬班稚为西河属国都尉，迁任广平相。
王莽年轻时与班稚兄弟地位相近而且关系友善，如同事奉兄长一样对待班脖，像对待弟弟一样看待班稚。班脖去世后，王莽身穿丧服，送来丰厚的随葬品。平帝即位后，由太后临朝听政，王莽主持朝政，打算通过文教使天下太平，派遣使者分别到各地访查风俗，采集颂歌，但是班稚没有献上什么颂歌。琅邪太守公孙闳在公府大讲灾变，大司空甄丰派遣手下驰骑至两郡劝告官吏百姓衹讲祥瑞而不讲灾害，并上书弹劾公孙闳捏造不祥之事，班稚不讲瑞应，都是妒嫉圣政，均为左道。太后说道：“不宣扬美德，应与大言灾异的人处置不同。并且班健仔贤德，我同情可怜她的家族。”公孙闳单独被投下监狱处死。班稚大为恐惧，上书感恩谢罪，表示愿意归还相印，入朝为延陵园郎，太后允准。享受原有的俸禄度过一生。因此班氏家族在王莽时并不显达，也没有大灾难。
起初，成帝生性宽厚，能够听从直言，所以王音、翟方进等依照法度议论天子的过失，而刘向、杜邺、王章、朱云等人肆意冒犯皇上，因此上白皇帝的老师安昌侯，皇舅大将军诸兄弟以及公卿大夫、后宫外戚史、许等家有宠幸的，没有不被诋毁的。衹有谷永曾经说“建始、河平之际，许家、班家的显贵，倾动前朝，显著四方，赏赐无度，以致内府空虚，你们所受的恩宠已达到了极限，不可能再超过了；但如今后起之家所得到的宠幸，连上天都已无法享受到，比前边提到班、许之氏所受恩宠还要高出十倍。”谷永所言意在讥讽趟氏、李氏，对班家并没有非议。
班稚的儿子是班彪。班彪字叔皮，从小便和其堂兄班嗣一起学习。班氏家有皇上赐给的图书，而且府内财力丰厚，好学之士多从远方而来，父辈的朋友白扬雄以下没有不登门拜访的。
班嗣虽然学习儒学，但他崇尚老庄之学。桓生想借阅他的书籍，班嗣答覆说：“庄子那样的人，绝圣弃智，修炼生命保养真气，清静虚无不追求名利，归万物于自然，衹有师友之间相互影响，而不被世俗力量所役使。在山壑中垂钓，那么天下万物难以干扰他的心志；隐居在一小山之中，则天下万物不能改变他的安乐。不受圣人的束缚，不为人君爵禄所诱惑，放纵自己的躯体放任自己的心志，谈论的人难以给他命名，因此非常宝贵。如今你已经套上了仁义情谊的羁绊，已经系上了声名的缰锁，已经信服了周公、孔子的主张，传扬颜回、闵子骞的精华，已经受拘于世俗教化，又何必言用老、庄之大道而自炫耀？过去有个人到邯郸学人走路，并没有学成，反而忘掉了原来的走法，于是只好爬了回去！担心你也会那样，因此不把书借给你。”班嗣的立身行事发表言论就是这样。
班彪衹对圣人之道才倾尽心力。二十岁时，适逢王莽被减，光武帝在冀州即位。当时隗嚣据有陇西拥众自立，招集英雄俊杰，而公孙述在蜀漠称帝，天下大乱，群雄割据，势力大的接连州郡，势力小的占据县邑。隗嚣问班彪道： “以前周朝灭亡，战国纷争，天下分裂，几代之后方才安定下来，难道战国之时的纵横之事还会在今El再次出现吗？将会有一个人承受天运代而兴起吗？希望先生能够评论一下。”班彪回答说：“周朝的兴衰与汉代不同。当初周朝设立五等爵位，使各诸侯国各自为政，王室衰微，而各诸侯国曰益强大，所以周朝末年出现了诸侯纷争之事，客观条件决定了这一切。汉代继承秦代的制度，并立郡县，人君有专制的威权，大臣没有成百年基业的权柄，到了成帝时，外戚专权，哀、平二帝短命，皇位三次没有人继承，危机是从上边出现的，而没有危及根基。所以虽然王氏的显贵，危及朝廷，能够窃夺皇位改立国号，但并不能得民心。因此登基之后，天下百姓没有不为汉室衰落而叹息的，十几年间，外扰内忧，各地纷纷揭竿而起，立国号的人遍地皆是，都自称是刘氏后人，未曾商量而语辞相同。如今拥有州城的英雄豪杰，都没有七国世代相承的基业的资本。《诗经。大雅。皇矣》中言：‘伟大的上天，俯视天下赫然甚明，监察众国，求人所定而授之。’如今百姓皆长歌短叹而思念汉朝，民心向汉，已经很清楚了。”隗嚣说： “先生所言周朝、汉朝之形势，甚是，至于仅是见到愚民们习惯了刘氏姓号的缘故，就以为汉室可以复兴，所论则显粗疏！过去秦失政权，刘季起兵于是得到天下，当时百姓又怎会知晓汉室呢！”班彪对隗嚣的言语深有感触，又哀叹他疯狂凶暴的行为难于止息，就着《王命论》来补救时难。那篇文章写道：当年帝尧禅让时说：“舜，天命预定你是统治的继承人。”舜也是按天命把天下挥让给了禹。至于稷、羿，都辅佐唐尧、虞舜，其荣光使四海之民受益，其美德泽及后世不绝，至于商汤、周武，拥有天下。虽然他们所处时代各异，更朝换代的方式不同，但他们都是上应天命下顺民心。因此刘氏上承帝尧之帝统，刘姓氏族世世代代，显名于史书。唐尧为火德，汉王朝也续接为火德，开始起兵于沛县的大泽，神母夜间号哭，以彰显赤帝的符应。就此而言，帝王的国统，一定要有明圣显懿的德行，丰功厚利世代累积的基业，然后精诚通达至于神明之处，流泽施加于百姓身上，所以能为鬼神所佑护，天下百姓都前来归附，从未见过没有一定的根基，功德不被记载，而能够崛起登上皇位的人。世俗之人见到高祖由一介平民兴起，但不能通晓其究竟，以为恰逢乱世，便能够拔剑奋起，游说之士甚至把争夺天I-比作追逐野鹿，运气好、手脚快就可以得到它，不知道帝王之权柄乃是天命，是不可以凭藉璁明武力得到的。可悲呀！这正是为什么世上有那么多乱臣贼子的原因。像这样，岂衹是昧于天道，而且不懂得人事。