子怀祖，太学博士、员外散骑侍郎，卒。子庄，少有美名，位都水使者，卒官。
怀祖弟怀仁，字子友，涉学有辞。性恬静，萧然有闲雅致。历太尉记室、弘农郡守，不之任，卜居陈留界。所著诗赋铭颂二万余言，撰《中表实录》二十卷。怀仁有行检，善与人交。与琅邪王衍、陇西李寿之情好相得。常语衍云："昔太丘道广，许劭知而不顾；嵇生峭立，钟会遇而绝言。吾处季、孟之间，去其太甚。"衍以为然。
子彦卿，有学尚，仕隋位御史。撰《后魏纪》三十卷。贞观中位石门令、东宫学士。道将弟道亮，字仲业，隐居不仕。子思道。
思道字子行，聪爽俊辩，通侻不羁。年十六，中山刘松为人作碑铭，以示思道。思道读之，多所不解。乃感激读书，师事河间邢子才。后复为文示松，松不能甚解。乃喟然叹曰："学之有益，岂徒然哉！"因就魏收借异书。数年间，才学兼著。然不持操行，好轻侮人物。齐天保中，《魏史》成，思道多所非毁。由是前后再被笞辱，因而落泊不调。
后左仆射杨遵彦荐之于朝，解褐司空行参军、长兼员外散骑侍郎，直中书省。文宣帝崩，当朝文士各作挽歌十首，择其善者而用之。魏收、阳休之、祖孝征等不过得一二首，唯思道独有八篇。故时人称为"八米卢郎"。后漏泄省中语，出为丞相西阁祭酒。历太子舍人、司徒录事参军。每居官，多被谴辱。后以擅用库钱，免归家。尝于蓟北，怅然感慨，为五言诗见意，世以为工。后为给事黄门侍郎，待诏文林馆。
周武帝平齐，授仪同三司，追赴长安。与同辈阳休之等数人作《听蝉鸣篇》。思道所为，词意清切，为时人所重。新野庾信遍览诸同作者，而深叹美之。未几，母疾，还乡。遇同郡祖英伯及从兄昌期等举兵作乱，思道豫焉。柱国宇文神举讨平之。思道罪当斩，已在死中。神举素闻其名，引出，令作露布。援笔立成，文不加点。神举嘉而宥之。后除掌教上士。隋文帝为丞相，迁武阳太守。位下，不得志，为《孤鸿赋》以寄其情。其序曰：
余志学之岁，自乡里游京师，便见识知音，历受群公之眷。年登弱冠，甫就朝列；谈者过误，遂窃虚名。通人杨令君、邢特进以下，皆分庭致敬，倒屣相接，翦拂吹嘘，长其光价。而才本驽拙，性实疏懒，势利货殖，淡然不营。虽笼绊朝市，且三十载，而独往之心，未始去怀抱也。
摄生舛和，有少气疾。分符坐啸，作守东原。洪河之湄，沃野弥望，嚣务既屏，鱼鸟为邻。有离群之鸿，为罗者所获，野人驯养，贡之于余。置诸池庭，朝夕赏玩，既用销忧，兼以轻疾。《大易》称"鸿渐于陆"，羽仪盛也。扬子曰"鸿飞冥冥"，骞翥高也。《淮南子》云"东归碣石"，违溽暑也。平子赋"南翔衡阳"，避祁寒也。若其雅步清音，远心高韵，鹓鸾已降，罕见其俦。而铩翮墙阴，偶影独立，唼喋秕稗，鸡鹜为伍，不亦伤乎。
余五十之年，忽焉已至，永言身事，慨然多绪，乃为之赋，聊以自慰云。
开皇初，以母老，表请解职，优诏许之。思道恃才地，多所陵轹，由是官途沦滞。既而又著《劳生论》，指切当世。岁余，奉诏郊劳陈使。顷之，遭母忧。未几，起为散骑侍郎，参内史侍郎事。于时，议置六卿，将除大理。思道上奏曰："省有驾部，寺留太仆；省有刑部，寺除大理。斯则重畜产而贱刑名，诚为不可。"又陈殿庭非杖罚之所，朝臣犯笞罪，请以赎论。上悉嘉纳之。是岁，卒于京师。上甚惜之，遣使吊祭焉。集二十卷，行于世。子赤松，大业中，位河东县长。
道亮弟道裕，字宁祖。少以学尚知名，风仪兼美。尚献文女乐浪长公主，拜驸马都尉。历位中书侍郎、太子中庶子、幽州大中正，卒于泾州刺史，谥曰文。
道裕弟道虔，字庆祖。粗闲经史，兼通算术。尚孝文女济南长公主，拜驸马都尉。公主骄淫，声秽遐迩，无疾暴薨，时云道虔所害。宣武秘其事，不苦穷之。后灵太后追主薨事，黜道虔，令终身不仕。道虔外生李彧，尚庄帝姊丰亭公主，因相藉托。永安中，除辅国将军、通直常侍。以议历勋，赐爵临淄伯。天平中，历都官尚书、本州大中正，幽州刺史，加卫大将军。卒官，赠尚书右仆射、司空公、瀛州刺史，谥曰文恭。
道虔好《礼》学，难齐尚书令王俭《丧服集记》七十余条。为尚书同寮于草屋下设鸡黍之膳，谈者以为高。昧旦将上省，必见其弟然后去。奴在马上弹琵琶，道虔闻之，杖奴一百。公主二子，昌寓宇、昌仁。昌宇不慧，昌仁早卒。道虔又娶司马氏，有子昌裕。后司马氏见出，更娉元氏，甚聪悟，常升高座讲《老子》。道虔从弟元明隔纱帷以听焉。元氏生二子，昌斯、昌衡，昌衡最知名。