子三人：长岳柱；次久著，终翰林侍读学士；次买住，蚤卒。岳柱自有传。阿台萨理赠保德功臣、银青荣禄大夫、司徒、柱国，追封赵国公，谥端愿；乞台萨理累赠纯诚守正功臣、太保、仪同三司、上柱国，追封赵国公，谥通敏。
岳柱字止所，一字兼山。自幼容止端严，性颖悟，有远识。方八岁，观画师何澄画《陶母剪发图》，岳柱指陶母手中金钏诘之曰：“金钏可易酒，何用剪发为也？”何大惊，即异之。既长就学，日记千言。年十八，从丞相答失蛮备宿卫，出入禁中，如老成人。至大元年，授集贤学士，阶正议大夫，即以荐贤举能为事。皇庆元年，升中奉大夫、湖南道宣慰使。日接见儒生，询求民瘼。延祐三年，进资善大夫、隆禧院使。七年，授太史院使。英宗视其进止整暇，顾谓参政速速曰：“全院使真故家令子也。”泰定元年，改太常礼仪院使。四年，授礼部尚书，领会同馆事，俄授江西等处行中书省参知政事。天历元年，进荣禄大夫、集贤大学士。
至顺二年，除江西等处行中书省平章政事。时有诬告富民负永宁王官帑钱八百余锭者，中书遣使诸路征之。使至江西，岳柱曰：“事涉诬罔，不可奉命。”僚佐重违宰臣意，岳柱曰：“民惟邦本，伤本以敛怨，亦非宰相福也。”令使者以此意复命。时燕帖木儿为丞相，闻其言，感悟，命刑部诘治，得诬罔状，罪诬告者若干人。宰相以奏，帝嘉之，特赐币帛及上尊酒。桂阳州民张思进等，啸聚二千余众，州县不能治，广东宣慰司请发兵捕之。岳柱曰：“有司不能抚绥边民，乃欲侥幸兴兵，以为民害耶？不可。”宰执皆失色，宪司亦以兴兵不便为言，岳柱终持不可，遣千户王英往问状。英直抵贼巢，谕以祸福，贼曰：“致我为非者，两巡检司耳，我等何敢有异心哉！”谕其众，皆使复业，一方以宁。三年，迁河南江北等处行中书省平章政事。旋以军事至扬州，得疾，明年十二月，端坐而卒，年五十三。
岳柱天资孝友，母弟久住早卒，丧之尽哀。尤嗜经史，自天文、医药之书，无不究极。度量弘扩，有欺之者，恬不为意。或问之，则曰：“彼自欺也，我何与焉。”母郜氏亦常称之曰：“吾子古人也。”
子四人：长普达，同佥行宣政院事；次安僧，为久住后，章佩监丞；次仁寿，中宪大夫、长秋寺卿。