在晋王杨广的推动之下，独孤皇后和宰相杨素结成了反太子联盟，对太子杨勇展开内外夹击，促使隋文帝产生了废掉太子、改立晋王的想法。不过废立太子是国之大事，还得征得宰相的赞同。而当隋文帝拿这件事去问老宰相高熲的时候，高熲却一口否决了。那么高熲为什么要反对?高熲的反对会给他带来什么后果呢?
高熲是非比寻常的，是重要的辅政大臣，他的否决就难办。二十年，没一件事，高熲与隋文帝不是同心同德的。在太子问题上，高熲为什么一定反对呢?人们往往想到一桩公案。说他曾与杨广因张丽华发生矛盾。平陈战争时，杨广是名义上的统帅。后来占领建康城时，高熲做善后工作时，处理战犯时，张丽华是高居榜首的。她本是首席战犯，高熲准备实施死刑时，接到杨广快，想留她下来。高熲答复说，“武王灭殷，戮妲己，今平陈国，不宜取丽华”。不能这样。高熲不给杨广面子，杨广放出话来，今后一定报复你的。结下了仇恨了。杨广当太子太皇帝，高熲就不会有好下场，所以高坚决反对这事，历史都是这样记载，我个人觉得不可靠。三个理由：一是杨广有远大理想，致力于营造不近女色的形象，才赢得父母的欣赏。这样的理想与道德自律，怎么会在战争时刻去护她呢。二是张丽华儿子当时十五岁，而这时杨广只二十来岁，年龄上不太可能。三是，南方的一些史书，都明确记载，晋王广命斩贵妃。这一点上与高熲不矛盾。所以，这个内容不可靠。那为什么高熲要反对呢?公的方面，有经验的政治家，他深知废长立幼会引起政治斗争，这在历史上有教训。私的上，他与杨勇是儿女亲家。太子倒台，他的身份也会难立足。也不宜反对杨勇。两方面原因，让他坚决维护。
要说在隋文帝的朝廷里，高熲绝对是一位重量级人物。多年来隋文帝对他极为倚重，赞扬备至。因此高熲对太子杨勇来说是一个很重要的保护伞。有了高熲的支持，太子的位置就会安全一些。但问题是，高熲这把保护伞会不会永远撑下去呢?
高熲自己是自身难保了。因为他得罪了一个人，独孤皇后，他们不是不错吗?先前好，是因为他出自独孤信门下，高熲一肯不弃故主，赢得了独孤皇后的信任。但是，她强悍，一旦她不喜欢高熲时，杀伤力也比任何人大。这时，她恰恰与高熲翻脸了。一件事是因为她怀疑他瞧不起她。隋文帝到晚年，出错了，严重的生活错误。修了仁寿宫，避暑，心态不错，心情好，看美人也不一般了，看中了气度不凡的宫女。一问，是尉迟迥的孙女。这可是隋文帝称帝最大的障碍。当时三总和反叛，为首的就是他。后来，被杀，她才被没入宫，这一节让他涌起了一股豪情，一比才知道。年轻宫女，独孤皇后哪里比得上呀?他忘了誓言与独孤皇后的厉害了。但是独孤皇后一直盯着，马上她知道了，装不知道。照样一起上朝，回来就干掉了小宫女。心中窝火。一个宫女都保护不了，皇帝多窝囊呀。绝对没有废掉皇后的勇气。不能影响政治大局。怎么办?离家出走，“单骑从苑中出，不由径路，入山谷间二十余里。”大臣们着急了，赶紧追吧，高熲与杨素去追。追到，叩马苦谏。隋文帝长叹，“吾贵为天子，不得自由”。高熲劝他了，“陛下岂以一妇人，而轻天下?”这是找台阶下。犯不着抛弃天下。隋文帝就还是回去了。独孤皇后也陪了不是，本来这事过去了。几天后，独孤皇后打听到这个细节，高熲不过是家臣，怎么这样轻视我呢?怎么说我不过是一个妇道人家呢?从此不满了。多冤了，和事佬的这话，得罪了一个人。这样的皇后，得罪一次就够受了，没想到还有一次。
不久，高熲就得罪了一位大人物，她就是独孤皇后。独孤皇后是一位坚强的政治女性，在隋朝影响力极大。而高熲在无意之中两次违背她的意志，就等于给自己树立了一个最强大的敌人。对于冷酷而又心胸狭隘的独孤皇后而言，此时的高熲已经不是朋友，而是障碍。那么独孤皇后会怎样除掉这个障碍呢?
这是因为高熲的妾生了儿子。独孤皇后跟皇帝说，“高仆射老矣，而丧夫人，陛下何能不为之娶?”说高熲是个没人照应的人，让陛下给他娶一个妾，这是美意，没想到高熲拒绝了。“臣今已老，退朝，唯斋居读佛而已，虽陛下垂哀之深，至于纳室，非臣所愿。”这话合乎她的心意，加分了。没想到没多久，重大转折出来了，报来了喜讯了，生了儿子。独孤皇后怒了。她恪守的是一夫一妻制，高熲居然让妾生了儿子，居然这样道德败坏，印象更坏了。高熲支持杨勇，当然独孤皇后觉得他不行了。必欲除之而后快。她就挑拨再挑拨。三次挑拨。一是挑他不忠诚，她拿爱妾生子来说事：“陛下尚复信高熲邪?始，陛下欲为熲娶，熲心存爱妾，面欺陛下，今其诈已见，安得信之?”
这样心口不一的人，怎么还能再信?隋文帝最在乎的是臣子的忠诚，不能容忍的是心口不一，高熲的事不大，但是可能反映出他的心口不一呀。大事会不会也骗?他就心存疑虑了。信任就打折了。第二次挑拨，是挑拨工作不卖力。当时高勾丽兴兵犯境，隋文帝任命汉王谅与高熲去镇压。道路遥远，中间有水路阻隔，运兵运粮不易，高熲建议不要轻易打。隋文帝不听。高熲只好去了，果然运输不便，无功而返。战争输了。客观上应该是隋文帝决策失误，不去打，独孤皇后说，“熲初不欲行，陛下强遣之，妾固知其无功矣。”他本不想去，去时，我就知道仗打不赢，把隋文帝的战争责任转给了高熲。印象更坏了。第三次挑拨高熲骄横。战场上，汉王自以为是，高熲是老臣，经验丰富，哪能轻易听他的，不大搭理他，不听杨谅的意见。说明他忠心，不是讨好小王子。杨谅觉得没把自己放在眼里。杨谅回来，就说差点被高熲宰掉。独孤皇后又报给了隋文帝，对杨谅蛮横。这下子，又挑动了隋文帝的敏感神经。他觉得这是居功自傲，是想当权臣的呀。他不想别人重走自己的路。隋文帝的印象也彻底巅覆了。隋文帝也就必欲除之而后快。
在独孤皇后的挑拨下，高熲的形象在隋文帝心中大打折扣。但是高熲毕竟是朝中重臣，多年的宰相，要把他拿下去，总得有一个能说服人的理由，隋文帝会以什么理由拿下高熲呢?
最好的就是谋反了，王世积被仇家告发，说他在凉州时说过这是不是用武之地呀?举报了他的言行，其实不靠谱。不大能够治罪的。可是，他是高熲推荐的，要求调查，好好调查一下。司法部门把王世积打承认了。跟高熲有联络，都是高熲告诉我的。隋文帝假装大怒，一定要继续查，查的结果当然对高熲不利。果然过从甚密。还送过名马，可以结案了。受贿，王世积被判死刑，立即执行。高熲就地免职，退休回家。二十年的老宰相就这样干到头了。
事情到这一步，可以结束吗?隋文帝觉得不够，官职免了，但是爵位在，这是最高等级的，对朝廷还有影响力，要拿掉，第二步计划来了。苦肉计，没几天，隋文帝去杨俊家中，儿子当然要招待，隋文帝叫叫来高熲侍宴，高熲难免流泪。这时，隋文帝说，过去待高熲跟对儿子一样，甚至更好，心里也老想着，罢官后，我就彻底忘了，到好像他从来不存在过一样，所以，当大臣的不能自持有功，要挟君主呀。这是表态，我是彻底抛弃他了。他是万劫不复了。下边的人就知道怎么办了，就有人告他了，声称高熲的儿子跟父亲说“司马仲达初托疾不朝，遂有天下，公今遇此，焉知非福?”篡夺天下，建立西晋，说他想像司马父子想夺天下，好接着当皇帝。隋文帝赶紧立案，调查，高熲的罪行就多了，说有和尚跟他交往，说明年有国丧。说他整天巴不得皇帝早死，他想建立新朝，这是谋反，免除爵位，彻底没有了影响力。
这是隋开皇末年的大事，对朝政产生重大影响：一是失去一个有能力有见识有节操的顶梁柱。这是隋最有才干的人，“杨素粗疏，苏威怯懦，元胄元旻正似鸭耳，可以付社稷者，唯独高熲。”当时评论如此。二是让太子失去了有力的庇护人。