初，威父绰在魏，以国用不足，为征税法，颇称为重。既而叹曰："所为者正如张弓，非平世法也。后之君子，谁能驰乎？"威闻其言，每以为己任。至是，奏减赋役，务从轻典，帝悉从之。渐见亲重，与高颎参掌朝政。威见宫中以银为幔钩，因盛陈节俭之美，谕帝。帝为改容，雕饰旧物，悉命除毁。帝尝怒一人，将杀之。威入阁进谏，不纳。帝怒甚，将自出斩之。威当前不去，帝避之而出。威又遮止帝，帝拂衣入。良久，乃召威谢曰："公能若是，吾无忧矣。"于是赐马二匹、钱十余万。岁余，寻复兼大理卿、京兆尹、御史大夫，本官悉如故。持书侍御史梁毗劾威兼领五职，安繁恋剧，无举贤自代心。帝曰："苏威朝夕孜孜，志存远大，举贤有阙，何遽迫之。"顾谓威曰："用之则行，舍之则藏，唯我与尔有是夫！"因谓朝臣曰："苏威不遇我，无以措其言；我不得苏威，何以行其道？杨素才辩无双，至若斟酌古今，助我宣化，非威匹也。苏威若逢乱世，商山四皓，岂易屈哉！"其见重如此。
未几，拜刑部尚书，解少保、御史大夫官。后京兆尹废，检校雍州别驾。时高颎与威同心，协赞政刑，大小无不筹之，故革运数年，天下称平。俄转户部尚书，纳言如故。属山东诸州人饥，帝令威振恤之。迁吏部尚书，兼领国子祭酒。隋承战争之后，宪章踳驳。帝令朝臣厘改旧法，为一代通典，律令格式多威所定。世以为能。九年，拜尚书右仆射。其年，以母忧去职，柴毁骨立。敕勉谕殷勤，未几，起令视事。固辞，优诏不许。明年，帝幸并州，命与高颎同总留事。俄追诣行在所，使决人讼。
寻令持节巡抚江南，得以便宜从事。过会稽，逾五岭而还。江表自晋已来，刑法疏缓，代族贵贱，不相陵越。平陈之后，牧人者尽改变之，无长幼悉使诵五教。威加以烦鄙之辞，百姓嗟怨。使还，奏言江表依内州责户籍。上以江表初平，召户部尚书张婴，责以政急。时江南州县又论言欲徙之入关，远近惊骇。饶州吴世华起兵为乱，生脔县令，啖其肉。于是旧陈率土毕反，执长吏，抽其肠而杀之，曰："更使侬诵五教邪！"寻诏内史令杨素讨平之。时突厥都蓝可汗屡为患，复令威至可汗所。
威子夔以公子盛名，引致宾客，四海士大夫多归之。时议乐，夔与国子博士何妥各有所持。于是夔、妥各为一议，使百僚署其所同。朝廷多附威，同夔者十八九。妥恚曰："吾席间函丈四十余年，反为昨暮儿之所屈也！"遂奏威与礼部尚书卢恺、吏部侍郎薛道衡、尚书右丞王弘、考功侍郎李同和等为朋党，省中呼王弘为世子，李同和为叔，言二人如威子弟。复言威以曲道任其从父弟彻、肃等罔冒为官。又国子学请黎阳人王孝逸为书学博士，威属卢恺，以为其府参军。上令蜀王秀、上柱国虞庆则等杂按之，事皆验。帝以宋书谢晦传中朋党事令威读之。威惧，免冠顿首。帝曰："谢已晚矣！"于是免威官爵，以开府就第。知名之士，坐威得罪者百余人。未几，帝曰："苏威德行者，但为人误耳。"命之通籍。
岁余，复爵邳公，拜纳言。从祠太山，坐不敬免。俄而复位。帝谓群臣曰："世人言苏威诈清，家累金玉，此妄言也。然其性狠戾，不切世要，求名太甚，从己则悦，违之必怒，此其大病耳。"仁寿初，复拜尚书右仆射。帝幸仁寿宫，以威总留事。及帝还，御史奏威职事多不理。帝怒，诘责威。威谢，帝亦止。
炀帝嗣位，上将大起长城之役，威谏止之。高颎、贺若弼之诛也，威坐相连免官。岁余，拜鲁郡太守，修羽仪。召拜太常卿。从征吐谷浑，进拜右光禄大夫。岁余，复为纳言，与左翊卫大将军宇文述、黄门侍郎裴矩、御史大夫裴蕴、内史侍郎虞世基参掌朝政，时人称为五贵。及征辽东，以本官领右武卫大将军，进位光禄大夫，赐爵房陵侯，寻进封房公。以年老乞骸骨，不许。复以本官参掌选事。明年，从征辽东，领右御卫大将军。
杨玄感之反，帝引威于帐中，惧见于色，谓曰："此小儿聪明，得不为患邪？"威曰："粗疏非聪明者，必无虑，但恐浸成乱阶耳。"威见劳役不已，百姓思乱，以此微欲讽帝。帝竟不悟。
从还，至涿郡，诏威安抚关中，以其孙尚辇直长儇副。威子鸿胪少卿夔先为关中简黜大使。一家三人，俱使关右，三辅荣之。岁余，帝手诏曰："玉以洁润，丹紫莫能渝其质；松表岁寒，霜寻莫能凋其采。可谓温仁劲直，性之然乎。房公威，先后旧臣，朝之宿齿，栋梁社稷，弼谐朕躬，守文奉法，卑身率礼。昔汉之三杰，辅惠帝者萧何；周之十乱，佐成王者邵奭。国之宝器，其在得贤。参璟台阶，具瞻斯允。虽事藉论道，终期献替，铨衡时和，朝寄为重。可开府仪同三司，余并如故。"威当时尊重，朝臣莫与为比。