次山能避权势，不预国事，时论贤之。嘉定十二年，卒，年八十一，赠太师，追封冀王。子二人。
谷，至太傅、保宁军节度使，充万寿观使、永宁郡王。
石，字介之，乾道间入武学，以恭圣仁烈后贵，赐第。庆元中，补承信郎，差充阁门看班祗候，寻带御器械。嘉泰四年，充贺正旦接伴使。时金使颇骄倨，自矜其善射，石从容起，挽弦三发三中的，金使气沮。嘉定改元，除扬州观察使、知阁门事，进保宁承宣使。久之，授保宁节度使，提举万寿观，奉朝请，进封信安郡侯。十五年，以检校少保进封开国公。
宁宗崩，宰相史弥远谋废皇子竑而立成国公昀，命石与谷白后，后不可，曰："皇子，先帝所立，岂敢擅变。"谷、石凡一夜七往反以告，后终不听。谷等拜泣曰："内外军民皆已归心，苟不从，祸变必生，则杨氏且无噍类矣！"后默然良久，曰："其人安在？"弥远等召昀入，遂矫诏废竑为济王，立昀，是为理宗。授开府仪同三司，充万寿观使。
时宝庆垂帘，人多言本朝世有母后之圣。石独曰："事岂容概言？昔仁宗、英宗、哲宗嗣位，或尚在幼冲，或素由抚育，军国重事有所未谙，则母后临朝，宜也。今主上熟知民事，天下悦服，虽圣孝天通，然不早复政，得无基小人离间之嫌乎？"乃密疏章献、慈圣、宣仁所以临朝之由，远及汉、唐母后临朝称制得失上之，后览奏，即命择日彻帘。进石少保，封永宁郡王。以寿明慈睿仁福三册太后宝，进至太傅。
石性恬澹，每拜爵命必力辞。恭圣祔庙，除太师。兄谷疑于辞受，石力言曰："吾家非有元勋盛德，徒以恭圣故致贵显，曩吾父不居是官，吾兄弟今偃然受之，是将自速颠覆耳。矧恭圣抑远族属，意虑深远，言犹在耳，何可遽忘？"乃合疏恳辞，至再三，不受。及属疾，除彰德、集庆节度使，进封魏郡王。卒，年七十一，赠太师。