第二弟诹之奔关右，兄弟五人皆拘系。齐神武问云："诹之何在？"答曰："昔吴、蜀二国，诸葛兄弟各得尽心，况让之老母在此，君臣分定，失忠与孝，愚夫不为。伏愿明公以诚信待物。若以不收处物，物亦安能自信？以此定霸，犹却行而求道耳。"神武善其言，兄弟俱释。
历文襄大将军主簿，兼中书舍人。后兼散骑常侍聘梁。文襄尝入朝，让之导引，容仪酝籍，文襄目之曰："士礼，佳舍人也。"迁长兼中书侍郎，领舍人。齐受禅，静帝逊居别宫，与诸臣别，让之流涕歔欷。以参掌仪注，封宁都县男。帝欲以为黄门侍郎，或言其体重不堪趋侍，乃除清河太守。至郡未几，杨愔谓让之诸弟曰："我与贤兄交款，企闻善政，适有人从清河来，云奸吏敛迹，盗贼清靖。期月之期，翻更非速。"
清河有二豪吏田转贵、孙舍兴，久吏奸猾，多有侵削，因事遂胁人取财，计赃依律不至死，让之以其乱法，杀之。时清河王岳为司州牧，遣部从事案之。侍中高德政旧与让之不协，密奏言："当陛下受禅之时，让之眷恋魏朝，呜咽流涕，比为内官，情非所愿。"既而杨愔请救之，云罪不合死。文宣大怒，谓愔曰："欲得与裴让之同冢邪！"于是无敢言者，事奏，竟赐死于家。
让之次弟诹之，字士正。少好儒学，释褐太学博士。尝从常景借书百卷，十许日便返。景疑其不能读，每卷策问，应答无遗。景叹曰："应奉五行俱下，祢衡一览便记，今复见之于裴生矣。"杨愔阖门改葬，托诹之顿作十余墓志，文皆可观。让之、诹之及皇甫和、和弟亮，并知名于洛下。时人语曰："诹胜于让，和不如亮。"司空高乾致书曰："相屈为户曹参军。"诹之复书不受署。沛王开大司马府，辟为记室。迁邺后，诹之留在河南。西魏领军独孤信入据金墉，以诹之为开府属，号曰"洛阳遗彦"。信败，诹之居南山，洛州刺史王元轨召为中从事。西师忽至，寻退，遂随西师入关。周文帝以为大行台仓曹郎中。卒，赠徐州刺史。
次谳之，字士平。七岁便勤学，早知名。累迁司徒主簿。杨愔每称叹曰："河东士族，京官不少，唯此家兄弟，全无乡音。"谳之虽年少，不妄交游，唯与陇西辛术、赵郡李绘、顿丘李构、清河崔赡为忘年友。昭帝梓宫将还邺，转仪曹郎。尤悉历代故事，仪注、丧礼皆能裁正。为许昌太守，客旅过郡，皆出私财供给，人间无所预。代下日，为吏人所怀。仕周，卒伊川太守。
次谋之，字士令。少有风格，邢邵每云"我裴四"。武成为开府，辟为参军，掌书记。
次讷之，字士言。纯谨有局量。弱冠为平原公开府墨曹，掌书记，从至并州。其母在邺，忽得心痛，讷之是日不胜思慕，心亦惊痛，乃请急而还。当时以为孝感。文宣践阼，幸晋阳。皇太子监国；留讷之与杜台卿并为斋帅，领东宫管记。转太子舍人，奏中书舍人事。卫尉杜弼被其家客诬云"有怨言，诽讪时政"。并称讷之与弼交好，亦知之。坐免官。卒，天统中追赠平州刺史。
长子曰樊，出后让之。次子矩，最知名。
矩字弘大，襁褓而孤；及长，好学，颇爱文藻，有智数。世父让之谓曰："观汝神识，足成才士，欲求宦达，当资干世之务。"矩由是始留情世事。仕齐，为高平王文学。齐亡，不得调。隋文帝为定州总管，补记室，甚亲敬之。以母忧去职。及帝作相，遣使驰召之，参相府记室事。受禅，迁给事郎，奏舍人事。伐陈之役，领元帅记室。既破丹阳，晋王广令矩与高颎收陈图籍。
明年，奉诏巡抚岭南。未行而高智慧、汪文进等作乱，吴、越道闭。上难遣矩行，矩请速进，上许之。行至南康，得兵数千人。时俚帅王仲宣逼广州，遣其部将周师举图东衡州，矩与大将军鹿愿赴之。贼立九栅，屯大庾岭，共为声援。矩进击破之。贼惧，释东衡州，据原长岭，又击败之。遂斩师举，进军自南海拔广州，仲宣惧而溃散。矩所绥集者二十余州，又承制署渠帅为刺史县令。及还，上大悦，命升殿劳苦之，谓高颎、杨素曰："韦洸将二万兵，不能早度岭，每患其兵少。裴矩以三千弊卒径至南海，有臣若此，朕亦何忧。"以功拜开府，赐爵闻喜县公，赉物二千段。除户部侍郎，迁内吏侍郎。
时突厥强盛，都蓝可汗妻大义公主即宇文氏女，由是数为边患。后因公主与从胡私通，长孙晟先发其事，矩请出使说都蓝，显戳宇文。上从之，竟如其言。公主见杀后，都蓝与突利可汗构难，屡犯亭鄣。诏太平公史万岁为行军总管，出定襄道，以矩为行军长史，破达头可汗于塞外。万岁被诛，功竟不录。上以启人可汗初附，令矩抚慰之。还，为尚书左丞。其年，文献皇后崩，太常旧无仪注，矩与牛弘、李百药等据齐礼参定。转吏部侍郎，名为称职。炀帝即位，营建东都，矩职修府省，九旬功就。