子晋明嗣。天统中，改封东莱王。晋明有侠气，诸勋贵子孙中最留心学问。好酒诞纵，招引宾客，一席之费，动至万钱，犹恨俭率。朝庭处之贵要之地，必以疾辞。告人云："废人饮美酒、封名胜，安能作刀笔吏返披故纸乎？"武平末，除尚书左仆射，百余日便谢病解官。
潘乐，字相贵，广宁石门人也。本广宗大族，魏世分镇北边，因家焉。父永，有技艺，袭爵广宗男。乐初生，有一雀止其母左肩，占者咸言富贵之征，因名相贵，后始为字。及长，宽厚有胆略。初归葛荣，授京兆王，时年十九。荣败，随尔朱荣，为别将讨元颢，以功封敷城县男。齐神武出牧晋州，引乐为镇城都将。从破尔朱兆于广阿，进爵广宗县伯。累以军功拜东雍州刺史。神武尝议欲废州，乐以东雍地带山河，境连胡、蜀，形胜之会，不可弃也，遂如故。后破周师于河阴，议欲追之，令追者在西，不愿者东，唯乐与刘丰居西。神武善之，以众议不同而止。改封金门郡公。文宣嗣事，镇河阳，破西将杨檦等。时帝以怀州刺史平鉴等所筑城深入敌境，欲弃之，乐以轵关要害，必须防固，乃更修理，增置兵将，而还镇河阳，拜司空。齐受禅，乐进玺绶。进封河东郡王，迁司徒。周文东至崤、陕，遣其行台侯莫陈崇自齐子岭趣轵关，仪同杨檦从鼓钟道出建州，陷孤公戍。诏乐总大众御之。乐昼夜兼行，至长子，遣仪同韩永兴从建州西趣崇，崇遂遁。又为南道大都督，讨侯景。乐发石鳖，南度百余里，至梁泾州。泾州旧在石梁，侯景改为怀州，乐获其地，仍立泾州，又克安州。除瀛州刺史，仍略淮、汉。天保六年，薨于悬瓠。赠假黄钺，太师、大司马、尚书令。
子子晃嗣。诸将子弟，率多骄纵，子晃沉密谨悫，以清净自居。尚公主，拜驸马都尉。武平末，为幽州道行台右仆射、幽州刺史。周师将入邺，子晃率突骑数万赴援。至博陵，知邺城不守，诣冀州降。周授上开府。隋大业初卒。