在晋王杨广的推动之下，独孤皇后和宰相杨素结成了反太子联盟，对太子杨勇展开内外夹击，促使隋文帝产生了废掉太子、改立晋王的想法。不过废立太子是国之大事，还得征得宰相的赞同。而当隋文帝拿这件事去问老宰相高獾氖焙颍高馊匆豢诜窬隽恕Ｄ敲锤馕什么要反对？高獾姆炊曰岣他带来什么后果呢？
高馐欠潜妊俺５模是重要的辅政大臣，他的否决就难办。二十年，没一件事，高庥胨逦牡鄄皇同心同德的。在太子问题上，高馕什么一定反对呢？人们往往想到一桩公案。说他曾与杨广因张丽华发生矛盾。平陈战争时，杨广是名义上的统帅。后来占领建康城时，高庾錾坪蠊ぷ魇保处理战犯时，张丽华是高居榜首的。她本是首席战犯，高庾急甘凳┧佬淌保接到杨广快，想留她下来。高獯鸶此担“武王灭殷，戮妲己，今平陈国，不宜取丽华”。不能这样。高獠桓杨广面子，杨广放出话来，今后一定报复你的。结下了仇恨了。杨广当太子太皇帝，高饩筒换嵊泻孟鲁。所以高坚决反对这事，历史都是这样记载，我个人觉得不可靠。三个理由：一是杨广有远大理想，致力于营造不近女色的形象，才赢得父母的欣赏。这样的理想与道德自律，怎么会在战争时刻去护她呢。二是张丽华儿子当时十五岁，而这时杨广只二十来岁，年龄上不太可能。三是，南方的一些史书，都明确记载，晋王广命斩贵妃。这一点上与高獠幻盾。所以，这个内容不可靠。那为什么高庖反对呢？公的方面，有经验的政治家，他深知废长立幼会引起政治斗争，这在历史上有教训。私的上，他与杨勇是儿女亲家。太子倒台，他的身份也会难立足。也不宜反对杨勇。两方面原因，让他坚决维护。
要说在隋文帝的朝廷里，高饩对是一位重量级人物。多年来隋文帝对他极为倚重，赞扬备至。因此高舛蕴子杨勇来说是一个很重要的保护伞。有了高獾闹С郑太子的位置就会安全一些。但问题是，高庹獍驯；ど』岵换嵊涝冻畔氯ツ兀
高庾约菏亲陨砟驯Ａ恕Ｒ蛭他得罪了一个人，独孤皇后，他们不是不错吗？先前好，是因为他出自独孤信门下，高庖豢喜黄故主，赢得了独孤皇后的信任。但是，她强悍，一旦她不喜欢高馐保杀伤力也比任何人大。这时，她恰恰与高夥脸了。一件事是因为她怀疑他瞧不起她。隋文帝到晚年，出错了，严重的生活错误。修了仁寿宫，避暑，心态不错，心情好，看美人也不一般了，看中了气度不凡的宫女。一问，是尉迟迥的孙女。这可是隋文帝称帝最大的障碍。当时三总和反叛，为首的就是他。后来，被杀，她才被没入宫，这一节让他涌起了一股豪情，一比才知道。年轻宫女，独孤皇后哪里比得上呀？他忘了誓言与独孤皇后的厉害了。但是独孤皇后一直盯着，马上她知道了，装不知道。照样一起上朝，回来就干掉了小宫女。心中窝火。一个宫女都保护不了，皇帝多窝囊呀。绝对没有废掉皇后的勇气。不能影响政治大局。怎么办？离家出走，“单骑从苑中出，不由径路，入山谷间二十余里。”大臣们着急了，赶紧追吧，高庥胙钏厝プ贰Ｗ返剑叩马苦谏。隋文帝长叹，“吾贵为天子，不得自由”。高馊八了，“陛下岂以一妇人，而轻天下？”这是找台阶下。犯不着抛弃天下。隋文帝就还是回去了。独孤皇后也陪了不是，本来这事过去了。几天后，独孤皇后打听到这个细节，高獠还是家臣，怎么这样轻视我呢？怎么说我不过是一个妇道人家呢？从此不满了。多冤了，和事佬的这话，得罪了一个人。这样的皇后，得罪一次就够受了，没想到还有一次。
不久，高饩偷米锪艘晃淮笕宋铮她就是独孤皇后。独孤皇后是一位坚强的政治女性，在隋朝影响力极大。而高庠谖抟庵中两次违背她的意志，就等于给自己树立了一个最强大的敌人。对于冷酷而又心胸狭隘的独孤皇后而言，此时的高庖丫不是朋友，而是障碍。那么独孤皇后会怎样除掉这个障碍呢？
这是因为高獾逆生了儿子。独孤皇后跟皇帝说，“高仆射老矣，而丧夫人，陛下何能不为之娶？”说高馐歉雒蝗苏沼Φ娜耍让陛下给他娶一个妾，这是美意，没想到高饩芫了。“臣今已老，退朝，唯斋居读佛而已，虽陛下垂哀之深，至于纳室，非臣所愿。”这话合乎她的心意，加分了。没想到没多久，重大转折出来了，报来了喜讯了，生了儿子。独孤皇后怒了。她恪守的是一夫一妻制，高饩尤蝗面生了儿子，居然这样道德败坏，印象更坏了。高庵С盅钣拢当然独孤皇后觉得他不行了。必欲除之而后快。她就挑拨再挑拨。三次挑拨。一是挑他不忠诚，她拿爱妾生子来说事：“陛下尚复信高庑埃渴迹陛下欲为馊，庑拇姘妾，面欺陛下，今其诈已见，安得信之？”
这样心口不一的人，怎么还能再信？隋文帝最在乎的是臣子的忠诚，不能容忍的是心口不一，高獾氖虏淮螅但是可能反映出他的心口不一呀。大事会不会也骗？他就心存疑虑了。信任就打折了。第二次挑拨，是挑拨工作不卖力。当时高勾丽兴兵犯境，隋文帝任命汉王谅与高馊フ蜓埂５缆芬Ｔ叮中间有水路阻隔，运兵运粮不易，高饨ㄒ椴灰轻易打。隋文帝不听。高庵缓萌チ耍果然运输不便，无功而返。战争输了。客观上应该是隋文帝决策失误，不去打，独孤皇后说，“獬醪挥行，陛下强遣之，妾固知其无功矣。”他本不想去，去时，我就知道仗打不赢，把隋文帝的战争责任转给了高狻Ｓ∠蟾坏了。第三次挑拨高饨竞帷Ｕ匠∩希汉王自以为是，高馐抢铣迹经验丰富，哪能轻易听他的，不大搭理他，不听杨谅的意见。说明他忠心，不是讨好小王子。杨谅觉得没把自己放在眼里。杨谅回来，就说差点被高庠椎簟６拦禄屎笥直ǜ了隋文帝，对杨谅蛮横。这下子，又挑动了隋文帝的敏感神经。他觉得这是居功自傲，是想当权臣的呀。他不想别人重走自己的路。隋文帝的印象也彻底巅覆了。隋文帝也就必欲除之而后快。
在独孤皇后的挑拨下，高獾男蜗笤谒逦牡坌闹写蟠蛘劭邸５是高獗暇故浅中重臣，多年的宰相，要把他拿下去，总得有一个能说服人的理由，隋文帝会以什么理由拿下高饽兀
最好的就是谋反了，王世积被仇家告发，说他在凉州时说过这是不是用武之地呀？举报了他的言行，其实不靠谱。不大能够治罪的。可是，他是高馔萍龅模要求调查，好好调查一下。司法部门把王世积打承认了。跟高庥辛络，都是高飧嫠呶业摹Ｋ逦牡奂僮按笈，一定要继续查，查的结果当然对高獠焕。果然过从甚密。还送过名马，可以结案了。受贿，王世积被判死刑，立即执行。高饩偷孛庵埃退休回家。二十年的老宰相就这样干到头了。
事情到这一步，可以结束吗？隋文帝觉得不够，官职免了，但是爵位在，这是最高等级的，对朝廷还有影响力，要拿掉，第二步计划来了。苦肉计，没几天，隋文帝去杨俊家中，儿子当然要招待，隋文帝叫叫来高馐萄纾高饽衙饬骼帷Ｕ馐保隋文帝说，过去待高飧对儿子一样，甚至更好，心里也老想着，罢官后，我就彻底忘了，到好像他从来不存在过一样，所以，当大臣的不能自持有功，要挟君主呀。这是表态，我是彻底抛弃他了。他是万劫不复了。下边的人就知道怎么办了，就有人告他了，声称高獾亩子跟父亲说“司马仲达初托疾不朝，遂有天下，公今遇此，焉知非福？”篡夺天下，建立西晋，说他想像司马父子想夺天下，好接着当皇帝。隋文帝赶紧立案，调查，高獾淖镄芯投嗔耍说有和尚跟他交往，说明年有国丧。说他整天巴不得皇帝早死，他想建立新朝，这是谋反，免除爵位，彻底没有了影响力。
这是隋开皇末年的大事，对朝政产生重大影响：一是失去一个有能力有见识有节操的顶梁柱。这是隋最有才干的人，“杨素粗疏，苏威怯懦，元胄元F正似鸭耳，可以付社稷者，唯独高狻”当时评论如此。二是让太子失去了有力的庇护人。
