衡为少傅数年，数上疏陈便宜，及朝廷有政议，傅经以对，言多法义。上以为任公卿，由是为光禄勋、御史大夫。建昭三年，代韦玄成为丞相，封乐安侯，食邑六百户。
元帝崩，成帝即位，衡上疏戒妃匹，劝经学威仪之则，曰：
陛下秉至考，哀伤思慕不绝于心，未有游虞弋射之宴，诚隆于慎终追远，无穷已也。窃愿陛下虽圣性得之，犹复加圣心焉。《诗》云“茕茕在疚”，言成王丧毕思慕，意气未能平也，盖所以就文、武之业，崇大化之本也。
臣又闻之师曰：“妃匹之际，生民之始，万福之原。”婚姻之礼正，然后品物遂而天命全。孔子论《诗》以《关睢》为始，言太上者民之父母，后夫人之行不侔乎天地，则无以奉神灵之统而理万物之宜。故《诗》曰：“窈窕淑女，君子好仇。”言能致其贞淑，不贰其操，情欲之感无介乎容仪，宴私之意不形乎动静，夫然后可以配至尊而为宗庙主。此纲纪之首，王教之端也。自上世已来，三代兴废，未有不由此者也。愿陛下详览得失盛衰之效以定大基，采有德，戒声色，近严敬，远技能。
窃见圣德纯茂，专精《诗》、《书》，好乐无厌。臣衡材驽，无以辅相善义，宣扬德音。臣闻《六经》者，圣人所以统天地之心，著善恶之归，明吉凶之分，通人道之正，使不悖于其本性者也。故审《六艺》之指，则天人之理可得而和，草木昆虫可得而育，此永永不易之道也。及《论语》、《孝经》，圣人言行之要，宜究其意。
臣又闻圣王之自为动静周旋，奉天承亲，临朝享臣，物有节文，以章人伦。盖钦翼祗栗，事天之容也；温恭敬逊，承亲之礼也；正躬严恪，临众之仪也；嘉惠和说，飨下之颜也。举错动作，物遵其仪，故形为仁义，动为法则。孔子曰：“德义可尊，容止可观，进退可度，以临其民，是以其民畏而爱之，则而象之。”《大雅》云：“敬慎威仪，惟民之则。”诸侯正月朝觐天子，天子惟道德，昭穆穆以视之，又观以礼乐，飨醴乃归。故万国莫不获赐祉福，蒙化而成俗。今正月初幸路寝，临朝贺，置酒以飨万方，传曰“君子慎始”，愿陛下留神动静之节，使群下得望盛德休光，以立基桢，天下幸甚！
上敬纳其言。顷之，衡复奏正南北郊，罢诸淫祀，语在《郊祀志》。
初，元帝时，中书令石显用事，自前相韦玄成及衡皆畏显，不敢失其意。至成帝初即位，衡乃与御史大夫甄谭共奏显，追条其旧恶，并及党与。于是司隶校尉王尊劾奏：“衡、谭居大臣位，知显等专权势，作威福，为海内患害，不以时白奏行罚，而阿谀曲从，附下罔上，无大臣辅政之义。既奏显等，不自陈不忠之罪，而反扬著先帝任用倾覆之徒，罪至不道。”有诏勿劾。衡惭惧，上疏谢罪。因称病乞骸骨，上丞相乐安侯印绶。上报曰：“君以道德修明，位在三公，先帝委政，遂及朕躬。君遵修法度，勤劳公家，朕嘉与君同心合意，庶几有成。今司隶校尉尊妄诋欺，加非于君，朕甚闵焉。方下有司问状，君何疑而上书归侯乞骸骨，是章朕之未烛也。传不云乎？‘礼义不愆，何恤人之言！’君其察焉。专精神，近医药，强食自爱。”因赐上尊酒、养牛。衡起视事。上以新即位，褒优大臣，然群下多是王尊者。衡嘿嘿不自安，每有水旱，风雨不时，连乞骸骨让位。上辄以诏书慰抚，不许。
久之，衡子昌为越骑校尉，醉杀人，系诏狱。越骑官属与昌弟且谋篡昌。事发觉，衡免冠徒跣待罪，天子使谒者诏衡冠履。而有司奏衡专地盗土，衡竟坐免。
初，衡封僮之乐安乡，乡本田堤封三千一百顷，南以闽佰为界。初元元年，郡图误以闽佰为平陵佰。积十余岁，衡封临淮郡，遂封真平陵佰以为界，多四百顷。至建始元年，郡乃定国界，上计簿，更定图，言丞相府。衡谓所亲吏赵殷曰：“主簿陆赐故居奏曹，习事，晓知国界，署集曹掾。”明年治计时，衡问殷国界事：“曹欲奈何？”殷曰：“赐以为举计，令郡实之。恐郡不肯从实，可令家丞上书。”衡曰：“顾当得不耳，何至上书？”亦不告曹使举也，听曹为之。后赐与属明举计曰：“案故图，乐安乡南以平陵佰为界，不从故而以闽佰为界，解何？”郡即复以四百顷付乐安国。衡遣从史之僮，收取所还田租谷千余石入衡家。司隶校尉骏、少府忠行廷尉事劾奏“衡监临盗所主守直十金以上。《春秋》之义，诸侯不得专地，所以一统尊法制也。衡位三公，辅国政，领计簿，知郡实，正国界，计簿已定而背法制，专地盗土以自益，及赐、明阿承衡意，猥举郡计，乱减县界，附下罔上，擅以地附益大臣，皆不道。”于是上可其奏，勿治，丞相免为庶人，终于家。
子咸亦明经，历位九卿。家世多为博士者。
张禹字子文，河内轵人也。至禹父徙家莲勺。禹为儿，数随家至市，喜观于卜相者前。久之，颇晓其别蓍布卦意，时从旁言。卜者爱之，又奇其面貌，谓禹父：“是儿多知，可令学经。”及禹壮，至长安学，从沛郡施雠受《易》，琅邪王阳、胶东庸生问《论语》，既皆明习，有徒众，举为郡文学。甘露中，诸儒荐禹，有诏太子太傅萧望之问。禹对《易》及《论语》大义，望之善焉，奏禹经学精习，有师法，可试事。奏寝，罢归故宫。久之，试为博士。初元中，立皇太子，而博士郑宽中以《尚书》授太子，荐言禹善说《论语》。诏令禹授太子《论语》，由是迁光禄大夫。数岁，出为东平内史。
元帝崩，成帝即位，征禹、宽中，皆以师赐爵关内侯，宽中食邑八百户，禹六百户。拜为诸吏光禄大夫，秋中二千石，给事中，领尚书事。是时，帝舅阳平侯王凤为大将军，辅政专权。而上富于春秋，谦让，方乡经学，敬重师傅。而禹与凤并领尚书，内不相安，数病，上书乞骸骨，欲退避凤。上报曰：“朕以幼年执政，万机惧失其中，君以道德为师，故委国政。君何疑而数乞骸骨，忽忘雅素，欲避流言？朕无闻焉。君其固心致思，总秉诸事，推以孳孳，无违朕意。”加赐黄金百斤、养牛、上尊酒，太官致餐，侍医视疾，使者临问。禹惶恐，复起视事，河平四年代王商为丞相，封安昌侯。
为相六岁，鸿嘉元年以老病乞骸骨，上加优再三，乃听许。赐安车驷马，黄金百斤，罢就第，以列侯朝朔望，位特进，见礼如丞相，置从事史五人，益封四百户。天子数加赏赐，前后数千万。
禹为人谨厚，内殖货财，家以田为业。及富贵，多买田至四百顷，皆泾、渭溉灌，极膏腴上贾。它财物称是。禹性习知音声，内奢淫，身居大第，后堂理丝竹管弦。
禹成就弟子尤著者，淮阳彭宣至大司空，沛郡戴崇至少府九卿。宣为人恭俭有法度，而崇恺弟多智，二人异行，禹心亲爱崇，敬宣而疏之。崇每候禹，常责师宜置酒设乐与弟子相娱。禹将崇入后堂饮食，妇女相对，优人管弦铿锵极乐，昏夜乃罢。而宣之来也，禹见之于便坐，讲论经义，日晏赐食，不过一肉卮酒相对。宣未尝得至后堂。及两人皆闻知，各自得也。