时太子勇失爱于上，潜有废立之志，从容谓颎曰：“有神告晋王妃，言王必有天下，若之何？”颎长跪曰：“长幼有序，其可废乎！”上默然而止。独孤后知颎不可夺，阴欲去之。
会上令选东宫卫士以入上台，颎奏称：“若尽取强者，恐东宫宿卫太劣。”上作色曰：“我有时出入，宿卫须得勇毅。太子毓德东宫，左右何须壮士！此极弊法。如我意者，恒于交番之日，分向东宫，上下团伍不别，岂非佳事！我熟见前代，公不须仍踵旧风。”颎子表仁，娶太子女，故上以此言防之。
颎夫人卒，独孤后言于上曰：“高仆射老矣，而丧夫人，陛下何能不为之娶！”上以后言告颎。颎流涕谢曰：“臣今已老，退朝，唯斋居读佛经而已。虽陛下垂哀之深，至于纳室，非臣所愿。”上乃止。既而颎爱妾生男，上闻之，极喜，后甚不悦。上问其故，后曰：“陛下尚复信高颎邪？始，陛下欲为颎娶，颎心存爱妾，面欺陛下。今其诈已见，安得信之！”上由是疏颎。
伐辽之役，颎固谏，不从，及师无功，后言于上曰：“颎初不欲行，陛下强遣之，妾固知其无功矣！”又，上以汉王年少，专委军事于颎，颎以任寄隆重，每怀至公，无自疑之意，谅所言多不用。谅甚衔之，及还，泣言于后曰：“儿幸免高颎所杀。”上闻之，弥不平。
及击突厥，出白道，进图入碛，遣使请兵，近臣缘此言颎欲反。上未有所答，颎已破突厥而还。及王世积诛，推核之际，有宫禁中事，云于颎处得之，上大惊。有司又奏“颎及左右卫大将军元旻、元胄，并与世积交通，受其名马之赠。”旻、胄坐免官。上柱国贺若弼、吴州总管宇文弼、刑部尚书薛胄、民部尚书斛律孝卿、兵部尚书柳述等明颎无罪，上愈怒，皆以属吏，自是朝臣无敢言者。秋，八月，癸卯，颎坐免上柱国、左仆射，以齐公就第。
未几，上幸秦王俊第，召颎侍宴。颎歔欷悲不自胜，独孤后亦对之泣。上谓颎曰：“朕不负公，公自负也。”因谓侍臣曰：“我于高颎，胜于儿子，虽或不见，常似目前。自其解落，瞑然忘之，如本无高颎。人臣不可以身要君，自云第一也。”
顷之，颎国令上颎阴事，称其子表仁谓颎曰：“司马仲达初托疾不朝，遂有天下。公今遇此，焉知非福！”于是上大怒，囚颎于内史省而鞫之。宪司复奏沙门真觉尝谓颎云：“明年国有大丧。”尼令晖复云：“十七、十八年，皇帝有大厄，十九年不可过。”上闻而益怒，顾谓群臣曰：“帝王岂可力求！孔子以大圣之才，犹不得天下。颎与子言，自比晋帝，此何心乎！”有司请斩之。上曰：“去年杀虞庆则，今兹斩王世积，如更诛颎，天下其谓我何！”于是除名为民。
颎初为仆射，其母戒之曰：“汝富贵已极，但有一斫头耳，尔其慎之！”颎由是常恐祸变。至是，颎欢然无恨色。先是国子祭酒元善言于上曰：“杨素粗疏，苏威怯懦，元胄、元颎正似鸭耳。可以付社稷者，唯独高颎。”上初然之。及颎得罪，上深责之，善忧惧而卒。
九月，以太常卿牛弘为吏部尚书。弘选举先德行而后文才，务在审慎，虽致停缓，其所进用，并多称职。吏部侍郎高孝基鉴赏机晤，清慎绝伦，然爽俊有馀，迹似轻薄，时宰多以此疑之；唯弘深识其真，推心任委。隋之选举得人，于斯为最，时论弥服弘识度之远。
冬，十月，甲午，以突厥突利可汗为意利珍豆启民可汗，华言意智健也。突厥归启民者男女万馀口，上命长孙晟将五万人于朔州筑大利城以处之。时安义公主已卒，复使晟持节送宗女义成公主以妻之。
晟奏：“染干部落，归者益众，虽在长城之内，犹被雍虞闾抄掠，不得宁居。请徙五原，以河为固，于夏、胜两州之间，东西至河，南北四百里，掘为横堑，令处其内，使得任情畜牧。”上从之。
又令上柱国赵仲卿屯兵二万为启民防达头，代州总管韩洪等将步骑一万镇恒安。达头骑十万来寇，韩洪军大败，仲卿自乐宁镇邀击，斩首虏千馀级。
帝遣越公杨素出灵州，行军总管韩僧寿出庆州。太平公史万岁出燕州，大将军武威姚辩出河州，以击都蓝。师未出塞，十二月，乙未，都蓝为部下所杀，达头自立为步迦可汗，其国大乱。长孙晟言于上曰：“今官军临境，战数有功，虏内自携离，其主被杀，乘此招抚，可以尽降。请遣染干部下分道招慰。”上从之。降者甚众。