孝建元年，鲁爽、臧质反，起为征虏将军，率众屯临沂县，仍除吴兴太守。明年，征为湘州刺史，未行，迁尚书左仆射。三年，转丹阳尹，加散骑常侍。复为尚书右仆射，领太子右卫率。明年，又除领军将军，加散骑常侍。五年，复迁尚书右仆射、金紫光禄大夫，常侍如故。明年，转左仆射，常侍如故。又领徐州刺史、大中正、崇宪太仆。前废帝即位，迁特进、右光禄大夫，常侍、太仆如故。景和元年，出督南豫州诸军事、安西将军、南豫州刺史。太宗即位，以为侍中、特进、右光禄大夫，领崇宪太仆，给亲侍三十人。崇宪太后崩，太仆解，余如故。泰始五年，赐几杖，大官四时赐珍味，疾病太医给药，固辞几杖。后废帝即位，进左光禄大夫，余如故。元徽元年卒，时年八十二。追赠左光禄大夫、开府仪同三司，侍中如故。谥曰元公。遵考无才能，直以宗室不远，故历朝显遇。年老有疾失明。
子澄之，顺帝升明末贵达。澄之弟琨之，为竟陵王诞司空主簿。诞作乱，以为中兵参军，不就，絷系数十日，终不受，乃杀之。追赠黄门郎。诏吏部尚书谢庄为之诔。
遵考从弟思考，亦被遇。历朝官，极清显，为豫章、会稽太守，益、徐州刺史，凡经十郡三州。泰始元年，卒于散骑常侍、金紫光禄大夫，时年七十五。追赠特进，常侍，光禄如故。
史臣曰：余妖内侮，偏众西临，荀、桓交逼，荆楚之势危矣。必使上略未尽，一算或遗，则城坏压境，上流之难方结。敌资三分有二之形，北向而争天下，则我全胜之道，或未可知。烈武王览群才，扬盛策，一举磔勍寇，非曰天时，抑亦人谋也。降年不永，遂不得与大业始终，惜矣哉！