杨敞，华阴县人。在大将军霆光幕府供职时，任军司马，很得霍光喜爱厚待，逐渐升任大司农。瓸童五凰年间，稻田使者游董得悉上皇桀等反叛的阴谋，将此事告知杨敞。杨敞一向谨慎怕事，不敢上奏昭帝，就上书称病移居。燕苍又把这一消息告诉了谏大夫杜延年，杜延年奏闻昭帝。燕苍、杜延年都因此立功封侯，杨敞身为九卿听到谋反的消息却不及时上奏，所以没有封侯。后来，升为御史大夫，接替王欣为丞相，封安平侯。
第二年，昭帝驾崩。昌邑王受公卿大臣征召来京即位，淫乱无道，大将军霍光与车骑将军张安世密谋，打算废黜吕邑王重立皇帝。商议既定，让大司农田延年报知杨敞。杨敞听了， 十分惊惧，不知说什么好，汗出湿背，衹会嘴裹发出“唯唯”的声音。田延年起身到更衣室更换衣服，杨敞的夫人急忙从束厢房出来对杨敞说：“这是国家大事，如今大将军计议已定，让大司农田延年来告诉您。您不赶快答应，与大将军同心协力，犹豫不决，就会先遭诛杀。”田延年从更衣室回来，杨敞夫妇和田延年都说同意大将军的决定，请求遵奉大将军的命令，于是朝廷大臣一起废掉了昌邑王，拥立宣帝。宣帝即位一个多月，杨敞去世，谧号称为敬侯。他的儿子杨忠继承爵位，因为杨敞位居丞相参预制定废昌邑王更立宣帝的大策，安定漠室宗庙有功，增加食邑三千五百户。
杨忠的弟弟杨惲，字子幼，凭靠杨忠的官位，按照汉朝的任子制度被任命为郎官，补任常侍骑。杨惲的母亲，是司马迁的女儿。杨惲最先看祖父写的《太史公记》，对《春秋》也很熟悉。因为有才能得到人们的称赞。他喜欢结交英俊杰出的儒生，名显朝廷，被提拔为左曹。霍氏谋反，杨惲先听说了，通过侍中金安上禀告皇帝，于是皇帝召见杨惲，让他禀报霍氏谋反的
事。霍氏家族服罪被杀，杨惲等五人因为举告有功赐封爵位，封杨惲为乎通侯，迁升中郎将。
郎官的旧例，是让郎宫自己出钱支付财物费用，供给文书，才得到出任加官的机会，所以又名“山郎”。郎官请病假满一天，就要用一个休假日来抵上，有的郎官一年多得不到休假。那凿：豪门富家出身的郎官，整天出去游乐戏耍，有的拿钱行贿，就能到好部门任职。贿赂风行，竞相仿效。杨惲担任中郎将，免除“山郎”的旧例，把郎官府衙全年的开支计划移交大司农，由大司农供给财务费用。郎官的病假、探亲假、沐休假，都按照法令办事。郎、谒者中有犯了罪过的，就上奏罢免，荐举郎宫中工作优异德才兼备者加官，有的升迁到郡守、九卿。郎官因此受到教化，无不激励自己勤于职守，革除了求情送礼的弊端，令行禁止，宫殿里的郎官们同心协力。因此皇上提拔杨惲为诸吏光禄勋，成为亲信大臣办理政事。
当初，杨惲接受了父亲的钱财五百万，到他被封为平通侯，就把父亲给他的钱财全部分给同宗族的人。他的继母没有儿子，钱财也有几百万，死后都留给了杨惲，杨惲又全分给了继母的兄弟。杨惲两次共继承钱财一千多万，统统拿出来分给了别人。他就是这样轻财好义。
杨惲在殿中做官，廉洁无私，郎官都称赞他公平。但杨惲常夸耀自己的德行和办事能力，又生性刻薄，喜欢揭发别人的阴私，同事中有违逆自己的，必定想法加害他，仗恃自己有才能高傲凌人，因此在朝中得罪了许多人，与太仆戴长乐失和，终于因为这件事毁了自己。
戴长乐是宣帝在民间结交的知己，到宣帝即位，擢升他为亲信大臣。戴长乐曾在演习宗庙祭祀礼仪时，代理执行天子的事务，回来后对掾史说：“我面见皇帝并接受韶令，代替皇帝演习礼仪，诧侯给我驾车。”有人卜书告发戴长乐言语失当，皇上将此事交给廷尉审理。戴长乐怀疑是杨惲教唆别人告发他，也上书举告杨惲的罪行，说：“高昌侯董忠驾车奔入北掖门，杨惲对富平侯张延寿说：‘听说以前曾有奔驰的车撞在殿门上，门闩被撞断，马也撞死了，接着昭帝驾崩。现在又出现了这样的事，是天命，不是人为的。，左冯翊韩延寿有罪下狱，杨惲上书为他辩冤。郎中丘常对杨惲说：听说您替韩冯翊申冤辩护，能救活他吗？’杨惲说：‘事情哪有这么容易！正直的人不一定能保全自己。我尚且不能白保，正像人们所说的老鼠因为口衔比鼠洞口大的窦数而进不了洞。，又有一次，中书谒者令宣把匈奴单于使者的话译成文字，拿给将军们和中朝二千石官看。杨惲说：‘冒顿单于得到汉朝赏赐的美食佳物，却说是腐臭难闻的坏东西，单于不来朝见不是很明白了吗。杨惲观看西合上画的人物，指着夏桀、商纣的画像对乐昌侯王武说：‘天子路过这裹，多问问桀、纣犯下的过错，可以得到鉴戒。，书上的人物还有尧、舜、禹、汤，杨惲不称颂，却列举桀、纣。杨惲听匈奴投降的人说单于被杀了，就说： ‘竟有这种不贤明的君主，大臣替他筹划的好计不用，却自取灭亡。正如秦朝衹任用奸佞小人为臣，诛杀忠良，终究因此灭亡；假使能亲近任用贤明正直的大臣，秦朝就能一直延续到现在。古代和当今的坏人如同一丘之貉。，杨惲妄引亡国的事例来诽谤当今朝廷，没有人臣的礼节。杨惲又对我戴长乐说过： ‘正月以来，天气久阴不雨，这种天象《春秋》记载过，夏侯胜规劝昌邑王时说过。皇上必定不能再到河东后土祠祭祀了。，杨惲拿皇上开玩笑，尤其大逆不道违背伦理。”
杨惲的案件交给廷尉审讯。廷尉于定国考讯查问，有证明人佐证，查清了紧晴。于定国奏报皇帝说：“杨惲不认罪，反而密召户将尊，想让他去警告富平侯张延寿，说‘太仆戴长乐有好几件事可以定成死罪，是早晚要被处死的人。杨惲有幸与富平侯结为姻亲，现在杨惲案子中的事衹有你们三个人在一起说过，衹要富平侯说“当时没听见杨惲说过造话”，自然和太仆所揭发的相抵触了，。户将尊说‘不行’。杨惲大怒，手持大刀，说： ‘如果太仆得到富平侯的帮助，按照太仆揭发的作证，我将被判处灭族的罪名！不准泄露我说的话，让太仆知道了这些话，更增加我的其他罪状。杨惲侥幸位列九卿，担任诸吏光禄勋，是朝廷的侍卫近臣，为皇上所信任，参与政事，不但不竭尽忠君爱民之心，尽臣子之义，反而狂妄地发泄心中的怨恨，散布妖言恶语，大逆不道，请求逮捕治罪。”宣帝不忍心判他死罪。下韶把杨惲、戴长乐都免为平民。
杨惲失去爵位以后，居家经营产业，兴建房宅，靠钱财自寻欢乐。过了一年多，他的朋友安定郡太守西河人孙会宗，是个有才智有谋略的人，写信规劝杨惲，跟他说大臣免官退居以后，应该闭门思过，诚惶诚恐，做出让人哀怜的样子，不该经营产业，交结宾客，有受人称赞的名声。杨惲是宰相杨敞的儿子，年轻时就名显朝廷，一旦因为一些真假不明的言语被废黜，心中不服，给孙会宗的回信说：我才能低下，行为卑秽，学问修养都没有什么根基，侥幸依赖父亲留下的功业，得以充数宿卫宫廷，遇上霍氏谋反，因为告发有功而获得爵位，但我毕竟不能胜任，终于遭到祸患。足下哀怜我愚昧，承蒙来函，教导说明我没认识到的道理，情意殷切深厚。但我私下埋怨足下不深思事情的原委，而轻易相信世俗之人的诽谤。说出我鄙陋的愚蠢想法吧，像是违背了足下的意旨，而又文饰己过；沉默不语吧，又怕背离孔子“各言尔志”之义，所以才敢概略地陈述我的愚见，请您考虑。我家在显赫时，乘坐朱轮车的人有十个，位在九卿之列，爵位为列侯，统领侍从官，参预朝廷政事，而我竟不能在这时有所建树，来宣扬皇上的德行教化，又不能和群僚同心协力，辅佐朝廷拾遣补缺，受到窃取官位白混饭吃的指责已经很久了。我贪图俸禄，热衷权势，不能自动引退，遭遇变故，横遭别人毁谤，被囚禁在宫殿北边的观楼中，妻子儿女都被关在监狱裹。在这个时候，自己觉得灭族也不能抵偿罪责，哪想到能保全性命，又奉祀祖先的坟墓呢？我感到圣明皇上的恩惠，真是不可计量。君子奉行道义，乐而忘忧；小人保全性命，悦而忘罪。我私下想过，我的罪遇已经很大了，品行已经欠缺了，永远做个农民度过余生吧。所以带领妻子儿女，努力耕稼种桑，灌溉园圃，经营产业，向朝廷纳赋交税，没想到又因此而遭到讥刺非议。人情不能避免的事情，连圣人也不禁止。所以，即使是最尊贵的君主、最亲近的父亲，为他们送终服丧，也有结束的时候。我获罪已有三年了。当农夫劳作辛苦，每年伏日、腊月，煮羊肉，烹羊羔，斟酒自慰。我的老家本来在秦地，我会唱秦地的歌。妻子是趟地的女子，雅善弹瑟。奴婢中也有人会唱歌，酒后耳朵发热，举头望天，以手击缶，唱出乌乌的歌声。歌辞唱道：田彼南山，芜秽不治，种一顷豆，落而为萁。人生行乐耳，须富贵何时！”在这样的日子裹，我高兴得抖着衣服，挥动衣袖，时而低垂，时而上扬，跺脚起舞，实在是放纵无度，我不知道这样做为什么不行。我幸亏还有剩余的俸禄，才买贱卖贵，追求十分之一的利润。这是商人做的事，也是蒙受耻辱的事，我都亲自做了。地位卑下的人，是众人诋毁的对象，我一想到这些，就不寒而栗。即使是很了解我的人，也随声附和诽谤我，哪儿还会有人称赞我呢！董仲舒不是说过吗，“勤勤敏敏求取仁义，常常担心不能教化百姓，是卿大夫考虑的问题；勤勤敏敏地求取财利，常常担心生活困穷，是老百姓的事。”所以孔子说：“道不同，不相为谋。”如今您怎么还能拿卿大夫的行为规范来责备我呢！西河是战国时魏国的土地，魏文侯兴起的地方，有段干木、田子方遣留的风范，两位贤士都有高尚的节操和宽宏的度量，知道辞官与出仕的分寸。近来，足下离开家乡西河，到达安定郡，安定郡处在山谷之间，是昆戎的旧地，那裹的人贪婪鄙薄，难道是当地习俗改变了您的品性吗？到今天我才看清您的志向，正值汉朝鼎盛时期，希望您努力建立功名，不须多与我议论了。