兵部尚书柳述，庆之孙也，尚兰陵公主，怙宠使气，自杨素之属皆下之。帝问符玺直长万年韦云起：“外间有不便事，可言之。。”述时侍侧，云起奏曰：“柳述骄豪，未尝经事，兵机要重，非其所堪。徒以主婿，遂居要职。臣恐物议以陛下为‘官不择贤，专私所爱’，斯亦不便之大者。”帝甚然其言，顾谓述曰：“云起之言，汝药石也，可师友之。”秋，七月，丙戌，诏内外官各举所知。柳述举云起，除通事舍人。
益州总管蜀王秀，容貌瑰伟，有胆气，好武艺。帝每谓独孤后曰：“秀必以恶终，我在当无虑，至兄弟，必反矣。”大将军刘哙之讨西爨也，帝令上开府仪同三司杨武通将兵继进。秀以嬖人万智光为武通行军司马。帝以秀任非其人，谴责之，因谓群臣曰：“坏我法者，子孙也。譬如猛虎，物不能害，反为毛间虫所损食耳。”遂分秀所统。
自长史元岩卒后，秀渐奢僭，造浑天仪，多捕山獠充宦者，车马被服，拟于乘舆。
及太子勇以谗废，晋王广为太子，秀意甚不平。太子恐秀终为后患，阴令杨素求其罪而谮之。上遂征秀，秀犹豫，欲谢病不行。总管司马源师谏，秀作色曰：“此自我家事，何预卿也！”师垂涕对曰：“师忝参府幕，敢不尽心！圣上有敕追王，以淹时月，今乃迁延未去。百姓不识王心，倘生异议，内外疑骇，发雷霆之诏，降一介之使，王何以自明？愿王熟计之！”朝廷恐秀生变，戊子，以原州总管独子瓜楷为益州总管，驰传代之。楷至，秀犹未肯行；楷讽谕久之，乃就路。楷察秀有悔色，因勒兵为备；秀行四十馀里，将还袭楷，觇知有备，乃止。
八月，甲子，皇后独孤氏崩。太子对上及宫人哀恸绝气，若不胜丧者；其处私室，饮食言笑如平常。又，每朝令进二溢米，而私令外取肥肉脯鲊，置竹桶中，以蜡闭口，衣袱裹而纳之。
著作郎王劭上言：“佛说：‘人应生天上及生无量寿国之时，天佛放大光明，以香花妓乐来迎。’伏惟大行皇后福善祯符，备诸秘记，皆云是妙善菩萨。臣谨案八月二十二日，仁寿官内再雨金银花；二十三日，大宝殿后夜有神光；二十四日卯时，永安宫北有自然种种音乐，震满虚空；至夜五更，奄然如寐，遂即升遐，与经文所说，事皆符验。”上览之悲喜。
九月，丙戌，上至自仁寿宫。
冬，十月，癸丑，以工部尚书杨达为纳言。达，雄之弟也。
闰月，甲申，诏杨素、苏威与吏部尚书牛弘等修定五礼。
上令上仪同三司萧吉为皇后择葬地，得吉处，云：“卜年二千，卜世二百。”上曰：“吉凶由人，不在于地。高纬葬父，岂不卜乎！俄而国亡。正如我家墓田，若云不吉，朕不当为天子；若云不凶，我弟不当战没。”然竟从吉言。吉退，告族人萧平仲曰：“皇太子遣宇文左率深谢余云：‘公前称我当为太子，竟有其验，终不忘也。今卜山陵，务令我早立。我立之后，当以富贵相报。’吾语之曰：‘后四载，太子御天下。’若太子得政，隋其亡乎！吾前绐云‘卜年二千’者，三十字也；‘卜世二百’者，取世二传也。汝其识之！”
壬寅，葬文献皇后于太陵。诏以“杨素经营葬事，勤求吉地，论素此心，事极诚孝，岂与夫平戎定寇比其功业！可别封一子义康公，邑万户。”并赐田三十顷，绢万段，米万石，金珠绫锦称是。
蜀王秀至长安，上见之，不与语；明日，使使切让之。秀谢罪，太子诸王流涕庭谢。上曰：“顷者秦王糜费财物，我以父道训之。今秀蠹害生民，当以君道绳之。”于是付执法者。开府仪同三司庆整谏曰：“庶人勇既废，秦王已薨，陛下见子无多，何至如是！蜀王性甚耿介，今被重责，恐不自全。”上大怒，欲断其舌，因谓群臣曰：“当斩秀于市以谢百姓。”乃令杨素等推治之。
太子阴作偶人，缚手钉心，枷锁杻械，书上及汉王姓名，仍云“请西岳慈父圣母神兵收杨坚、杨谅神魂，如此形状，勿令散荡。”密埋之华山下，杨素发之；又云秀妄述图谶，称京师妖异，造蜀地征祥；并作檄文，云“指期问罪”，置秀集中，俱以闻奏。上曰：“天下宁有是邪！”十二月，癸巳，废秀为庶人，幽之内侍省，不听与妻子相见，唯獠婢二人驱使，连坐者百馀人。秀上表摧谢曰：“伏愿慈恩，赐垂矜愍，残息未尽之间，希与瓜子相见；请赐一穴，令骸骨有所。”瓜子，其爱子也。上因下诏数其十罪，且曰：“我今不知杨坚、杨谅是汝何亲？”后乃听与其子同处。
初，杨素尝以少谴敕送南台，命治书侍御史柳彧治之。素恃贵，坐彧床。彧从外来见之，于阶下端笏整容谓素曰：“奉敕治公之罪！”素遽下。彧据案而坐，立素于庭，辨诘事状。素由是衔之。蜀王秀尝从彧求李文博所撰《治道集》，彧与之；秀遗彧奴婢十口。及秀得罪，素奏彧以内臣交通诸侯，除名为民，配戍怀远镇。
帝使司农卿赵仲卿往益州穷案秀事，秀之宾客经过之处，仲卿必深文致法，州县长吏坐者太半。上以为能，赏赐甚厚。
久之，贝州长史裴肃遣使上书，称：“高颎以天挺良才，元勋佐命，为众所疾，以至废弃；愿陛下录其大功，忘其小过。又二庶人得罪已久，宁无革心！愿陛下弘君父之慈，顾天性之义，各封小国，观其所为：若能迁善，渐更增益；如或不悛，贬削非晚。今者自新之路永绝，愧悔之心莫见，岂不哀哉！”书奏，上谓杨素曰：“裴肃忧我家事，此亦至诚也。”于是征肃入朝。太子闻之，谓左庶子张衡曰：“使勇自新，欲何为也？”衡曰：“观肃之意，欲令如吴太伯、汉东海王耳。”肃至，上面谕以勇不可复收之意而罢遣之。肃，侠之子也。
杨素弟约及从父文思、文纪、族父忌并为尚书、列卿，诸子无汗马之劳，位至柱国、刺史；广营资产，自京师及诸方都会处，邸店、碾硙、便利田宅，不可胜数；家僮数千，后庭妓妾曳绮罗者以千数；第宅华侈，制拟宫禁；亲故吏布列清显。既废一太子及一王，威权愈盛。朝臣有违忤者，或至诛夷；有附会及亲戚，虽无才用，必加进擢，朝廷靡然，莫不畏附。敢与素抗而不桡者，独柳彧及尚书右丞李纲、大理卿梁毘而已。
始，毘为西宁州刺史，凡十一年，蛮夷酋长皆以金多者为豪隽，递相攻夺，略无宁岁，毘患之。后因诸酋长相帅以金遗毘，毘置金坐侧，对之恸哭，而谓之曰：“此物饥不可食，寒不可衣，汝等以此相灭，不可胜数，今将此来，欲杀我邪！”一无所纳。于是蛮夷感悟，遂不相攻击。上闻而善之，征为大理卿，处法平允。
毘见杨素专权，恐为国患，乃上封事曰：“臣闻臣无有作威作福，其害于而家，凶于而国。窃见左仆射越国公素，幸遇愈重，权势日隆，搢绅之徒，属其视听。忤旨者严霜夏零，阿旨者甘雨冬澍；荣枯由其脣吻，废兴候其指麾；所私皆非忠谠，所进咸是亲戚，子弟布列，兼州连县。天下无事，容息异图；四海有虞，必为祸始。夫奸臣擅命，有渐而来，王莽资之于积年，桓玄基之于易世，而卒殄汉祀，终倾晋祚。陛下若以素为阿衡，臣恐其心未必伊尹也。伏愿揆鉴古今，量为处置，俾洪基永固，率土幸甚！”书奏，上大怒，收毘系狱，亲诘之。毘极言“素擅宠弄权，将领之处，杀戮无道。又太子、蜀王罪废之日，百僚无不震竦，唯素扬眉奋肘，喜见容色，利国家有事以为身幸。”上无以屈，乃释之。