十年，阿合马屡毁汉法，诸生禀食或不继，衡固请退。帝命诸老臣议其去留，窦默亦为衡请，乃听衡归，以选善王恂摄学事。刘秉忠等奏，乞以衡弟子耶律有尚、苏郁、白栋为助教，守衡规矩，从之。
十三年，诏王恂定新历。恂以为历家知历数而不知历理，宜得衡领之，乃以集贤大学士兼国子祭酒，领太史院事，召至京。十七年，历成，奏上之，赐名曰《授时历》，颁行天下。语详《郭守敬传》。
六月，以疾请归。皇太子为请于帝，授子师可为怀孟路总管以养之，且使东宫官谕衡曰：“公毋以道不行为忧也，公安则道行有时矣，其善药自爱。”十八年，衡病革，逢家祭，扶起奠献如仪。既彻，馂而卒，年七十三。是日，雷电，大风拔木。怀孟人无贵贱少长，皆哭于门。四方学士，不远数千祭器墓下。
北方文学自衡开之，当时名公卿多出其门。丞相安童事以师礼，卒称贤相。惟值王文统、阿合马相继用事，未获大行其志，论者惜之。大德元年，赠司徒，谥文正。至大三年，加赠正学垂行佐运功臣、太傅、开府仪同三司，追封魏国公。皇庆二年，诏从孔子庙廷。延祐初，又诏立书院于京兆以祀文，给田奉祠事，赐名鲁斋书院。鲁斋，衡在大名时所署斋名也。
二子：师可，怀孟路总管。师敬，累官山东廉访使。泰定二年，奏请颁族葬制，禁用阴阳邪说，从之，入为中书参知政事，迁左丞，令与纽泽等编译《帝训》。书成，经筵进讲，仍令皇太子阅之。三年，帝幸上都，命师敬与兀伯都剌等居守。是年，译《帝训》成，更名皇图大训》，后卒于宫，孙从宣，河北河南道廉访使。无元统二年，录衡孙从宗为异珍库提点。
刘因，字梦吉，保定容城人。世为儒家。父述，邃于性理之学。中统初左三部尚书刘肃宣抚真定，辟武邑令，以疾辞归。年四十无子。因生之夕，述梦神人骑马载一儿至其家，曰：“善养之。”乃名曰固，字梦骥，后改今名及字。
因天资绝人，三岁识书，日记千百言，过目成诵，六岁能诗，七岁能属文，落笔惊人。甫弱冠，才器超迈，思得如古人者友之，作《希圣解》。国子司业研弥坚教授真定。因从之游，同舍生皆不能及。初为经学，究训诂注疏之说，辄叹曰：“圣人精义，殆不止此。”及得周、程、张、邵、朱、吕之书，一见能发其微，曰：“我固谓当有是也。”固早丧父，事继母孝。虽贫，非其义，一介不取。家居教授，师道尊严，弟子造其门者，随材器教之，皆有成就。尝爱诸葛明静以修身之语，表所居日静修。
不忽木以因学行荐于朝。至元十九年，诏征因，擢右赞善大夫。初，裕宗建学宫中，命选善王恂教近侍子弟，恂卒，乃命因继之。未几，以母疾辞归。明年，丁内艰。二十八年，复遣使者以集贤学士征因，以疾固辞，且上书宰相曰：
因自幼读书，闻大人君子之馀论，虽他无所得，至如君臣之义，自谓见之甚明。如以日用近事言之，凡吾人所以得安居而暇食，以遂春生聚之乐者，是谁之力与？皆君上之赐也。是以凡我有生之民，或给力役，或出知能，亦必各有以自效焉。此理势之必然，亘万古而不可易，庄周氏所谓无所逃于天地之间者也。
因生四十三年，未尝效尺寸之力，以报国家养生成之德，而恩命连至，因沿敢偃蹇不出，贪高尚之名以负我国家知遇之恩，而得罪于圣门中庸之教也哉！且因之立心，自幼及长，未尝一日敢为崖岸卓绝、甚高难继之行，平昔交友，苟有一日之雅者，皆知因之此心也。但或者得之传闻，不求其质，止于遗迹之近似者观之，是以有高人隐士之目，惟阁下亦知因之未尝以此自居也。
向者，先储皇以赞善之命来召，即与使者俱行，再奉令旨教学，亦即时应命。后以老母中风，请还家省视，不幸弥留，竟遭忧制，遂不复出，初岂有意于不仕邪，今圣天子选用贤良，一新时政，虽前日隐晦之人，亦将出而仕矣，况因平昔非隐晦者邪，况加以不次之宠，处之以优崇之地邪。是以形留意往，命与心违，病臣空斋，惶恐待罪。
因素有羸疾，自去年丧子，扰患之余，继以疟疾，历夏及秋，后虽平复，然精神气血，已非旧矣。不图今岁五月二十八日，疟疾复作，至七月初二日，蒸发旧积，腹痛如剌，下血不已。至八月初，偶起一念，自叹旁无期功之说，家无纪纲之仆，恐一旦身先朝露，必至累人，遂遣人于容城先人墓侧，修营一舍，倘病势不退，当居外其中以待尽。遣人之际，未免感伤。由是病势益增，饮食极减。至二十一日，使者持恩命至，因初闻之，惶怖无地，不知所措。徐而思之，窝谓供职虽未能扶病而行，而思命则不敢不扶病而拜。因又虚，若稍涉迟疑，则不惟臣子之心有所不安，而踪迹高峻，已不近于人情矣。是以即日拜受，留使者，侯病势稍退，与之俱行。迁延至今，服疗百至，略无一效。乃请使者先行，仍令学生李道恒纳上铺马圣旨，待病退，自备气力以行。望阁下俯加矜悯，曲为保全。因实疏远微财之臣，与帷幄诸公不同，其进与退，非难处之事，惟阁长下始终成就之。