上方图江表。先是，素数进取陈计。未几，拜信州总管，赐钱百万、锦千段、马二百匹遣之。素居永安，造大舰，名曰五牙，上起楼五层，高百余尺，左右前后置六樯竿，并高百五十尺，容战士八百人，旗帜加于上。次曰黄龙，置兵百余人。自余平乘、舴艋等各有差。及大举攻伐，以素为行军元帅，引舟师趣三硖。至流头滩，陈将戚欣以青龙百余艘屯兵守狼尾滩，以遏军路。共地险峭，诸将患之。素曰："负胜在此一举，若昼日下船，彼则见我，滩流迅激，制不由人，则吾失其便。"乃夜掩之。素亲率黄龙十艘，衔枚而下。遣开府王长袭从南岸击欣别栅。令大将军刘仁恩趣白沙北岸。比明而至，击之，欣败。虏其众，劳而遣之，秋毫不犯，陈人大悦。素率水军东下，舟舰被江，旌甲曜日。素坐平乘大船。容貌雄伟，陈人望之，惧曰："清河公即江神也。"
陈南康内史吕仲肃屯岐亭，正据江峡，于北岸缆岩缀铁锁三条，横截上流，以遏战船。素与仁恩登陆俱发，先攻其栅；仲肃军夜溃，素徐去其锁。仲肃复据荆州之延洲。素遣巴蜒卒数千，乘五牙四艘，以樯竿碎贼十余舰，遂大破之，仲肃仅以身免。陈主遣其信州刺史顾觉镇安蜀城，荆州刺史陈纪镇公安，皆惧而走。巴陵以东，无敢守者。湘州刺史岳阳王陈叔慎请降。素下至汉口，与秦孝王会，乃还。拜荆州总管，进爵郢国公，真食长寿县千户；以其子玄感为仪同三司，玄奖为清河郡公；赐物万段，粟万石，加之金宝；又赐陈主妹、女妓十四人。素言于上曰："里名胜母，曾子不入，逆人王谊前封郢，臣不愿与同。"于是改封越国公。寻拜纳言，转内史令。
俄而江南人李棱等为乱，以素为行军总管讨之。帝命平定日，男子悉斩，女妇赏征人，在阵免者从贱。贼朱莫问自称南徐州刺史，以盛兵据京口。素舟师入自杨子津，进击破之。晋陵顾世兴自称太守，与其都督鲍迁等复来拒战。素逆击破之，执迁，虏三千余人。进击无锡贼帅叶皓，又平之。吴郡沈玄懀、沈杰等以兵围苏州，刺史皇甫绩频战不利，素率众援之。玄懀势迫，走投南沙贼帅陆孟孙。素击孟孙于松江，大破之，禽孟孙、玄懀。黝、歙贼帅沈雪、沈能据栅自固，又攻拔之。
江浙贼高智慧自号东扬州刺史，吴州总管五原公元契镇会稽，以其兵盛而降之。智慧尽屠其众，契自杀。智慧有船舰千余艘，屯据要害，兵甚劲。素击之，自旦至申，苦战破之。智慧逃入海。蹑之，从余姚泛海趣永嘉。智慧来拒战，素击走，贼帅汪文进自称天子，据东阳，署其徒蔡道人为司空，守乐安。素进讨。悉平之。又破永嘉贼帅沈孝彻。于是步道向天台，指临海郡。遂捕遗逸，前后百余战，智慧遁守闽越。上以素久劳于外，诏令驰传入朝，加子玄感上开府，赐彩八千段。素以余寇未殄，恐为后患，又自请行。诏以素为元帅，复乘传至会稽。
先是，泉州人王国庆，南安豪族也，杀刺史刘弘，据州为乱。自以海路艰阻，非北人所习，不设备伍。素泛海奄至，国庆遑遽，弃州走。素分遣诸将，水陆追捕。时南海先有五六百家，居水为亡命，号曰游艇子；智慧、国庆欲往依之。素乃密令人说国庆，令斩智慧以自效。因庆乃斩智慧于泉州。自余支党悉降，江南大定。上遣左领军将军独孤陀至浚仪迎劳，比到京师，问者日至。拜素子玄奖仪同，赐黄金四十斤，加银瓶，实以金钱，缣三千段、马二百匹、羊三千口、田百顷、宅一区。
代苏威为尚书右仆射，与高颎专掌朝政。素性疏而辩，高下在心，朝贵之内，颇推高颎，敬牛弘，厚接薛道衡，视苏威蔑如也。自余朝臣，多被陵轹。其才艺风调，优于高颎。至于推诚体国，处物平当，有宰相识度，不如颎远矣。
寻令素监营仁寿宫，素遂夷山堙谷，督役严急，作者多死，宫侧时闻鬼哭。及宫成，上令高颎前视，奏称颇伤绮丽，大损人丁。帝不悦。素惧，即于北门启独孤皇后曰："帝王法有离宫别馆，今天下太平，造一宫何足损费。"后以此理谕上，上乃解。于是赐钱百万、绵绢三千段。
开皇十八年，突厥达头可汗犯塞，以素为灵州道行军总管。出塞讨之，赐物二千段、黄金百斤。先是诸将与虏战，每虑胡骑奔突，皆戎车步骑相参，与鹿角为方阵，骑在内。素曰："此乃自固之道。"于是悉除旧法，令诸军为骑阵。达头闻之，大喜，以为天赐，下马仰天而拜，率精骑十余万至。素奋击，大破。达头被重创而遁，众号哭而去。优诏赐缣二万匹及万钉宝带，加子玄感位大将军，玄奖、玄纵、积善并上仪同。