其妻崔赜女，高明妇人，生一子元显。崔氏卒后纳翟氏，不以为妻，憎忌元显。后遇劫，元显见害，世云翟氏所为也。元显志气甚高，为时人所伤惜。翟氏二子，安人、安上，并有风度。安人袭爵寿光侯，司徒司马。无子，爵除。安上钜鹿太守，亦早卒。安人第豹子后追理先封，卒不得袭。
孝伯兄祥，字元善。学传家业，乡党宗之。位中书博士。时尚书韩元兴率众出青州，以祥为军司。略地至陈、汝，淮北之人诣军降者七千余户，迁之兖、豫之南，置淮阳郡以抚之。拜祥太守，流人归者万余家，百姓安业。迁河间太守，有威恩之称。徵拜中书侍郎，人有千余上书，乞留数年，朝廷不许。卒官，追赠定州刺史、平棘子，谥曰宪。
子安世，幼聪悟。兴安二年，文成帝引见侍郎、博士子，简其秀俊，欲以为中书学生。安世年十一，帝见其尚小，引问之。安世陈说父祖，甚有次第，即以为生。帝每幸国学，恒独被引问。诏曰："汝但守此至大，不虑不富贵。"天安初，拜中散，以谨慎，帝亲爱之。累迁主客令。
齐使刘缵朝贡，安世奉诏劳之。安世美容貌，善举止，缵等自相谓曰："不有君子，其能国乎！"缵等呼安世为典客。安世曰："何以亡秦之官，称于上国？"缵曰："世异之号，凡有几也？"安世曰："周谓掌客，秦改典客，汉名鸿胪，今曰主客。君等不欲影响文、武，而殷勤亡秦。"缵又指方山曰："此山去燕然远近？"安世曰："亦石头之与番禺耳。"
时每有江南使至，多出藏内珍物，令都下富室好容服者货之，令使任情交易。使至金玉肆问价，缵曰："北方金玉大贱，当是山川所出？"安世曰："圣朝不贵金玉，所以同于瓦砾；又皇上德通神明，山不爱宝，故川无金，山无玉。"缵初将大市，得安世言，惭而罢。迁主客给事中。
时人困饥流散，豪右多有占夺，安世乃上疏陈均量之制，孝文深纳之。后均田之制，起于此矣。出为相州刺史，假赵郡公。敦农桑，断淫祀。西门豹、史起有功于人者，为之修饰庙堂。表荐广平宋翻、阳平路恃庆，皆为朝廷善士。初，广平人李波宗族强盛，残掠不已，前刺史薛道檦亲往讨之，大为波败，遂为逋逃之薮，公私成患。百姓语曰："李波小妹字雍容，褰裙逐马如卷蓬。左射右射必叠双，妇女尚如此，男子那可逢！"安世设方略，诱波及诸子侄三十余人，斩于邺市，州内肃然。病卒于家。
安世妻博陵崔氏，生一子枿。崔氏以妒悍见出，又尚沧水公主，生二子，谥、郁。
枿字琚罗，涉历史传，颇有文才，气尚豪爽，公强当世。太师、高阳王雍表荐枿为友。时人多绝户为沙门，枿上言："三千之罪，莫大于不孝，不孝之大，无过于绝祀。安得轻纵背礼之情，而肆其向法之意；缺当世之礼，而求将来之益；弃堂堂之政，而从鬼教乎？"沙门都统僧暹等忿枿鬼教之言，以枿为谤毁佛法，泣诉灵太后。责之，枿自理曰："鬼神之名皆是通灵达称。佛非天非地，本出于人，名之为鬼，愚谓非谤。"灵太后虽以枿言为允，然不免暹等意，犹罚枿金一两。
转尚书郎，随萧宝夤西征，以枿为统军。枿德洽乡闾，招募雄勇，其乐从者数百骑。枿倾家赈恤，率之西讨。宝夤见枿至，拊其肩曰："子远来，吾事办矣。"故其下每有战功，军中号曰李公骑。宝夤启枿为左丞，仍为别将，军机戎政，皆与参决。宝夤又启为中书侍郎。还朝，除岐州刺史，坐辞不赴任，免官。建义初，河阴遇害。初赠尚书右仆射、殷州刺史，后又赠散骑常侍、骠骑大将军、仪同三司、冀州刺史。
俶傥有大志，好饮酒，笃于亲知。每谓弟郁曰："士大夫学问，稽博古今而罢，何用专经为老博士也？"与弟谧特相友爱。谧在乡物故，枿恸哭绝气，久而方苏，不食数日，期年形骸毁悴，人伦哀叹之。
谧字永和，少好学，周览百氏。初师事小学博士孔璠，数年后，璠还就谧请业。同门生为之语曰："青成蓝，蓝谢青，师何常，在明经。"谧以公子征拜著作佐郎，辞以授弟郁，诏许之。州再举秀才，公府二辟，并不就。唯以琴书为业，有绝世之心。览《考工记》、《大戴礼盛德篇》，以明堂之制不同，遂著《明堂制度论》曰：
余谓论事辩物，当取正于经典之真文；援证定疑，必有验于周、孔之遗训，然后可以称准的矣。今礼文残缺，圣言靡存，明堂之制，谁使正之？是以后人纷纠，竞兴异论，五九之说，各信其习。是非无准，得失相半，故历代纷纭，靡所取正。乃使裴頠云："今群儒纷纠，互相掎摭，就令其象可得而图。其所以居用之礼莫能通也，为设虚器耳。况汉氏所作，四维之个，复不能令各处其辰。愚以为尊祖配天，其义明著，庙宇之制，理据未分，直可为殿屋以崇严父之祀。其余杂碎，一皆除之。"斯岂不以群儒舛互，并乖其实，据义求衷，莫适可从哉？但恨典文残灭，求之靡据而已矣，乃复遂去室牖诸制。施之于教，未知其所隆政，求之于情，未可喻其所以必须，惜哉言乎！仲尼有言曰："赐也，尔爱其羊，我爱其礼。"余以为隆政必须其礼，岂彼一羊哉？推此而论，则圣人之于礼，殷勤而重之；裴頠之于礼，任意而忽之，是则頠贤于仲尼矣！以斯观之，裴氏子以不达失礼之旨也。余窃不自量，颇有鄙意，据理寻义，以求其真；贵合雅衷，不苟偏信。乃藉之以《礼传》，考之以训注；博采先贤之言，广搜通儒之说；量其当否，参其同异，弃其所短，收其所长，推义察图，以折厥衷，岂敢必善，聊亦合其言志矣。