后从幸雁门。为突厥所围，朝廷危惧。帝欲轻骑溃围而出。威谏曰："城守则我有余力，轻骑则彼之所长。陛下万乘主，何宜轻脱！"帝乃止。突厥俄亦解围去。车驾次太原，威以盗贼不止，劝帝还京师，深根固本，为社稷计。帝初从之，竟用宇文述等议，遂往东都。天下大乱，威知帝不可匡正，甚患之。属帝问盗贼事。宇文述曰："盗贼信少，不足为虞。"威不能诡对，以身隐殿柱。帝呼问之。威曰："臣非职司，不知多少，但患其渐近。"帝曰："何谓也？"威曰："他日贼据长白山，今者近在荥阳、汜水。"帝不悦而罢。属五月五日，百僚上馈，多以珍玩，威献尚书一部，微以讽帝。帝弥不平。后复问伐辽东事，威对顾赦群盗，遣讨高丽，帝益怒。御史大夫辈蕴希旨，令御史张行本，奏威昔在高阳典选，滥授人官，怯畏突厥，请还京师。帝令案其事，乃下诏曰："威立性朋党，好异端，怀挟诡道，徼幸名利，诋诃律令，谤讪台省。昔岁薄伐，奉述先志，凡预切问，各尽胸臆，而威不以开怀，遂无对命。启沃之道，其若是乎！"于是除名。后月余，人有奏威与突厥阴图不轨。大理簿责威。威自陈精诚不能上感，瑕爨屡彰，罪当万死。帝悯而释之。其年，从幸江都宫。帝将复用威，裴蕴、虞世基奏言昏耄赢疾，帝乃止。
宇文化及弑逆，以威为光禄大夫、开府仪同三司。化及败，归于李密。密败，归东都，越王侗以为上柱国、邳公。王世充僣号，署太师。威自以隋室旧臣，遭逢丧乱，所经之处，皆与时消息，以求容免。
及太宗平世充，坐于东都阊阖门内，威请谒见，称老病不能拜起。上遣人数之曰："公隋朝宰辅，政乱不能匡救，遂令品物涂炭，君弑国亡。见李密、世充皆拜伏舞蹈。今既老病，无劳相见。"寻入长安，至朝堂请见，高祖又不许。终于家，时年八十二。
威行己清俭，以廉慎见称。然每至公议，恶人异已，虽或小事，必固争之。时人以为无大臣之体。所修格令章程，并行于当世，颇伤烦碎，论者以为非简久之法。及大业末年，尤多征役，至于论功行赏，威每承望风旨，辄寝其事。时群盗蜂起，郡县有奏闻者，又诃诘使人，令减贼数，故出师攻讨，多不克捷。由是遂致败乱，为物议所讥。子夔。
夔字伯尼。聪敏有口辩，然性轻险无行。八岁诵诗，兼解骑射。年十三，从父至尚书省。与安德王雄射，赌得骏马而归。十四诣学，与诸儒议论，词致可观。见者皆称善。及长，博览群言，尤以锺律自命。初名哲，字知人，父威由是改之，颇为有识所哂，起家太子通事舍人。杨素见而奇之，每戏威曰："杨素无儿，苏夔无父。"后与郑译、何舀议乐，得罪，议寝不行。著乐志十五篇以见其志。数载，迁太子舍人，以罪免居数年。仁寿三年，诏天下举达礼乐源者。晋王昭时为雍州牧，举夔。与诸州所举五十余人谒见。帝望夔，谓侍臣曰："唯此一人，称吾所举。"于是拜晋王友。
炀帝嗣位，历太子洗马、司朝谒者。以父免职，夔亦去官。后历尚书职方郎、燕王司马。辽东之役，以功拜朝散大夫。时帝方勤远略，蛮夷来朝。帝谓宇文述、虞世基曰："四夷率服，观礼华夏，鸿胪之职，须归令望。宁有多才艺美容仪，可接宾客者为之乎？"威以夔对。即日拜鸿胪少卿。其年，高昌王麹伯雅来朝，朝廷妻以公主。夔有雅望，令主婚。
其后延安、弘化等数郡盗贼屯结，诏夔巡关中。及突厥围雁门，夔于镇城东南为弩楼、车箱、兽圈，一夕而就。帝见善之。以功进位通议大夫。坐父事，除名。后会丁母忧，不胜哀，卒，时年四十九。
绰弟椿，字令钦。性廉慎，沈勇有决断。魏正光中，关右贼乱，椿应募讨之，授荡寇将军。以功累迁中散大夫，赐爵美阳子。大统初，拜镇东将军、金紫光禄大夫，赐姓贺兰氏。后除帅都督，行弘农郡事。椿当官强济，特为周文帝所知。
十四年，置当州乡师，自非乡望允当众心者不得预焉。乃令驿追椿，领乡兵。其年，破槃头氏有功，除散骑常侍，加大都督。十六年，征随郡。军还，除武功郡守。既为本邑，以清俭自居，小大之政，必尽忠恕。进爵为侯，位骠骑大将军、开府仪同三司、大都督。卒。子植嗣。
亮字景顺，绰从兄也。祖稚，字天佑，位中书侍郎、玉门郡守。父祐，泰山郡守。
亮少通敏，博学好属文，善章奏，与弟湛等皆著名西土，一家举二秀才。亮初举秀才，至洛阳，过河内常景。景深器之，而谓人曰："秦中才学可以抗山东者，将此人乎"！魏齐王萧宝夤引为参军。宝夤迁大将军，仍为之掾。宝夤雅相知重，凡有文檄谋议，皆以委之。寻行武功郡事，甚著声绩。宝夤作乱，以亮为黄门侍郎。亮善处人间，与物无忤。及宝夤败，从之者多遇祸，唯亮获全。及长孙承业、尔朱天光等西讨，并以亮为郎中，专典文翰。贺拔岳为关西行台，引亮为左丞，典机密。