看到国家是继汉武帝奢侈用兵之后，杜延年几次对大将军霍光说： “连年不丰收，流民未尽返乡，应行文帝时政，昭示俭约宽和，顺天心，悦民意，年岁当有丰收相报应。”霍光纳其言，举贤良，议论废除专卖酒、盐铁，皆从延年发起。吏民上书言事，有异议，立即交延年平衡处理复奏。建议可以由官府实行的，推荐到县令，有的由丞相、御史任用，满一年再报告任职情况，言事者有奸妄者抵罪，常常是由两府及廷尉分别处理。
昭帝末年，卧病，征召天下名医，杜延年主管方药。帝驾崩，昌邑王即位，废，大将军霍光、车骑将军张安世与大臣议立帝事。当时宣帝抚养在掖庭，号皇曾孙，与延年中子杜佗相友善，延年知曾孙德美，劝霍光、安世立帝。宣帝即位，褒赏大臣，延年以定策安宗庙，增户二千三百，与始封食邑共四千三百户。下诏有司论功封赏，大司马大将军霍光功德超过太尉绛侯周勃，车骑将军安世、丞相杨敞功比丞相陈平，前将军韩增、御史大夫蔡谊功比颖阴侯灌婴，太仆杜延年功比朱虚侯刘章，后将军趟充国、大司农田延年、少府史乐成功比典客刘揭，皆封侯益土。
延年为人安和，善于处理各项政务，长期主管朝政，皇上信任他，出即陪奉车驾，入给事中，居九卿位十余年，赏赐馈赠，家资数千万。
霍光死后，子霍禹与宗族谋反，被诛。皇上以杜延年为霍氏旧人，想免退，而丞相魏相奏延年向来尊贵受信任，所任官吏多不法。遣吏立案审查，衹是查出苑马多死，官奴婢缺乏衣食，延年受到牵连犯法免官，削户二千。数月后，又召任北地太守。延年以原九卿任作边地官吏，治郡政绩不明显，皇上用玺书责备延年。延年便选良吏，捕击豪强，郡中清静。过了一年多，皇帝派谒者赐延年玺书，黄金二十斤，徙为西河太守，治绩有名声。五凤年间，调进朝廷任御史大夫。他住在原父亲的官府中，不敢使用父亲所用席位，坐卧都另换地方。这时四夷和睦，海内平安，他任职三年，因老病辞职。皇帝优待他，派光禄大夫持节赐给他黄金百斤和酒，又给医药。杜延年病重，皇帝又赐他安车驷马，免官就第。数月后去世。谧号敬侯，子杜缓继侯爵。
杜缓少年时任郎官，本始年间以校尉身份跟从蒲类将军出击匈奴，还朝任谏大夫，改迁上谷都尉，雁门太守。父延年去世，治理丧事，后拜为太常，治理各陵墓所在之县，每当冬月判决定案之时，常常去酒省食，下属官员都称颂他有恩德。元帝初即位，谷价昂贵，百姓流散，永光年间西羌反，杜缓就上书入钱谷助军用，前后数百万。
杜缓有六弟，五人至大官，少弟杜熊历任五郡二千石官职，三州牧刺史，以干练闻名。衹有中弟杜钦不为官而最知名。拄趑，字王夏，年少好经书，家富有而一目盲，故不好为吏。茂陵杜邺与杜钦同姓字，都以才能闻名京师，所以士大夫们称杜钦为“盲杜子夏”以相区别。可是杜钦忌讳因自己有病而被人看不起，就头戴小帽，高宽才二寸，因此京师的人改称杜钦为“小冠杜子夏”，杜邺谓“大冠杜子夏”。
当时帝舅大将军王凤以外戚辅政，正想寻求品德好又有学问的人以协助自己。王凤的父亲顷侯王禁与杜钦的哥哥杜缓是好朋友，故王凤深知杜钦有才能，于是奏请杜钦为大将军军武库令。职闲无事，正合杜钦的心意。
杜钦为人博学有谋略。皇上为太子时，好色，即位后，皇太后下令选良家女。杜钦因此事对大将军王凤说：“天子一次要娶九女，是阳数的极限，旨在广嗣敬祖，弘扬帝业；九女应从乡里挑选窈窕之女，不问姿色华艳，衹求能助德政，管理后宫；小妾虽缺可以不补，这有助于养寿命杜绝争宠。后妃贤惠，后继人就会出现贤圣之君；制订威严仪表制度，君主就有长寿之福。废弃礼仪而不用，就好色无厌；好色无厌，寿命就不会达到高寿。《书》说‘有的三四年就丧生’，说的就是淫乐失控就损害生命。男子五十，好色未衰；妇人四十，容貌改变。以改变之容待未衰之年，又不以礼节制，那么原来不可挽回的容貌就会变为异常心态；异常心态出现了，那么正后自生疑心便会与姬妾产生隔阂，进而生出废嫡之心。所以晋献公接受浅言毁谤，申生蒙无罪之冤。今圣主年少，未有嫡嗣，正在心向学术，没有亲近后妃之议。将军辅政，应沿袭始初隆重礼仪，建立九女之制，慎重选择礼仪之家，求贤女之品质，不必具有色声技能，便可以为万世树立榜样。少年，戒备的东西是色，《诗。小卞》之作，刺幽王废黜申后、太子，可为寒心。望将军常要引以为忧。”
王凤告诉太后，太后认为没有这种制度。杜钦又说：“《诗》云，‘殷朝借鉴不远，就在夏后氏时代，。讽刺劝诫者认为事情紧迫，听者却常常不注意，能不慎重吗！前面讲的九女制度，衹略加陈述利害，便令人畏惧，恐怕将军还未留意。后妃之制，关系到天寿、治乱、存亡。考查三代末世的事迹，观察殷高宗、周宣王在位的长短，看看汉家的祸福预兆和应验，败亡何尝不由女色？所以《诗经》讲鸡鸣时佩戴玉饰前去拜见君王，周康王王后废除了晨拜之礼， 《诗。关雎》为之叹息，应该懂得好色就会减少寿命，离开制度的约束，就会贪色无厌，风俗受到损害，渐成恶习。夸奖贤美之女，希望配与君王，忠孝品性着实就在其中，仁厚的诗人为此而作出了如此美诗。君亲长寿，国家长治久安，实为臣子之最高愿望，这些也正是所以应当勉力的。 《易》说：‘正其本，万事通顺协调。，凡论事或许有无法立即实行的，求之古代没有记载，考查今天则吉凶相同，上面意志摇动民心就惑乱，要是这样制度就实在难以行得通。今九女之制，合于往古，无害于今，不逆于民心，最易实行，实行之后就是国家的最大福气，将军辅政而不早定，非天下人的愿望。希望将军相信臣子的愿望，体察《关雎》之思虑，对得起委托执政的隆盛礼遇，实现天子即位始初之清明，为汉家建无穷之基业，实在不可以忽略，不可以迟疑。”王凤不能自立法度，衹因循旧制而已。正好皇太后妹司马君力与杜钦兄子私通，事上报，杜钦惭惧，乞求离职而去。
后有日食、地震之变，下令推举贤良方正能直言进谏之士，合阳侯梁放推荐杜钦。杜钦上对说： “陛下畏天命，惧灾变，引见公卿，推举直言之士，将以求天意，观得失踪迹。臣杜钦愚笨，经术浅薄，不足以回答皇上的提问。臣闻日食、地震，是阳微阴盛的迹象。臣是君的阴面；子是父的阴面；妻是夫的阴面；夷狄是中原之阴面。《春秋》记载日食三十六次，地震五次，或者有夷狄侵扰中原，或者大权在臣下，或者有妇凌驾夫，或者是臣子背叛君父，事虽不同，其类相同。臣私下观察人事考究变异，本朝大臣没有不安分守己之人，外戚没有贪狠之心，关东诸侯没有强大之国，边远民族没有逆理之为；危险在后宫。为什么这样说呢？曰在戊申食，时加未。戊未属土。土是中宫之部。在夜间地震于未央宫殿中，这表明嫡、妾将有争宠相害为患之事，望陛下深戒。变化感应是以类相应，人事先于下，变化之象见于上。能够以德去对应，那么灾难就会消亡；不能用善政去应和，祸败就会到来。殷高宗遇到雉鸡之谴告，便端正品行，整治政事，享受了百年寿命，殷朝得到复兴，关键在善于应付灾变。对应之不够诚心就不能成功，非信就不能实行。宋景公是小国诸侯，有不忍转嫁灾祸的至诚之心，出入君之言再三，荧惑星便从心宿退走。以陛下圣明，内推至诚之心，深思天变，有什么响应不感动上天？有什么可以摇而不动呢？孑L子曰：‘仁是这样遥远呀！’望陛下正后妾，抑止女宠，防止奢侈太遇，去逸游，亲自节俭，亲临万事，多御安车，从辇道而行，亲问太后两宫饮食，行早晚问安之礼。这样，就是尧、舜也不足以比兴旺，灾变何惧不消除！如果不留听庶事，不论才能而授官职，尽天下之财以奉淫侈，竭尽万民之力以放纵耳目之乐，近谄谀之入而远方正奉公之士，信谗贼之臣而诛忠良，贤士隐居在山穴，大臣怨于不用，虽无变异，也是社稷的忧患。天下至大，万事至众，祖业至重，实在不可以行淫佚之乐，不可以坚持奢侈享受。望陛下忍无益处的欲望，以便保全百姓之命。臣杜钦愚笨，言论不足采纳。”