杨广老早就已经密谋着要争夺东宫太子之位了。他有两个铁杆手下就是宇文述和张衡，要说明的是这个张衡不是发明地动仪的那位老兄，而是另一个同名的人。几个人一有空闲就老聚在一起商量夺嫡的事情。宇文述就给杨广献计说：“大王您虽然各个方面都比太子强，可是您是藩王，长久不在朝廷，要夺嫡还缺少内援，现在皇上最信任的人是越国公杨素，如果能结交杨素，大事一定可成。”
　　杨广问：“我怎么能结交杨素呢？他是内臣，我是藩王，我主动去结交近臣那是很被皇上忌讳的。”
　　宇文述说：“这个不难。杨素有个弟弟叫杨约，现任大理少卿，此人很有智谋。杨素遇到事情总是喜欢和杨约商量。我和杨约很熟，不用您出面，只要您舍得些金银珠宝，我们就能拉上他。”
　　杨广问：“想那杨素贵为公爵，家财巨万，什么也不缺，他怎么看上这些珠宝？仅仅用金银珠宝怎么能搞定他？”
　　宇文述说：“当然只有珠宝是不行的，这些珠宝主要是给杨约的，要搞定杨素，还要有一样东西。”
　　杨广问：“何物？”
　　宇文述张开自己的嘴伸出舌头，用手指一下道：“还要我的三寸之舌。我要先搞定杨约，然后再让杨约去劝说杨素，大事一定可成。”
　　杨广大喜，于是让宇文述带上了许多金银珠宝前去京城。
　　宇文述到了京城，闲来没事就请杨约来喝酒，喝酒时就把好多金银玉器摆在旁边，喝完酒就提出要和杨约博彩，说俗点就是赌钱，每次都是宇文述输，他也慷慨，从不反悔，就把那些东西送给杨约。时间一长，杨约赢了非常多的好东西。终于又一次，杨约赢得都有点难为情了，忍不住问：“你怎么总是输？”
　　宇文述等的就是这个时候，他笑着说：“我哪里有这么多珍贵器物，实话说吧，这都是晋王让我送给您的。他想结交您和您的哥哥。”
　　杨约这时候才恍然大悟：“我能帮得上什么忙吗？”原话是：何为尔？
　　宇文述也是滔滔不绝，对他讲了一大通道理。原话非常的多，我就不啰嗦了，大意就是说：你们兄弟如今功劳盖世，朝里嫉妒你们兄弟的人也很多。现在皇上罩着你们，没人敢动你们。可是将来皇上不在了，你们还能靠谁呢？现在太子不受皇上喜爱，皇上已经有了废立之意，想你们也是知道的。如果你们趁此机会在皇上面前多说晋王的好话，帮晋王夺嫡成功，那你们将来就是大功之人，不但有人罩着，还能青云直上，万年永固。
　　杨约是聪明人，他马上就看出宇文述所说的是对的，他马上找到杨素给他讲述了帮助晋王夺嫡的伟大意义和美好前景，于是杨素正式成为了杨广集团的一名地下工作者。
　　从此以后，杨素兄弟在这条看不见硝烟的战线上努力工作，在皇帝面前为太子杨勇添了不少的坏话，也为晋王杨广进了不少的美言。
　　如今有杨素这碗酒垫底，杨广那是非常的放心，他相信，自己的目标很快就能实现了！
　　从此，总有一个声音在杨坚的耳朵旁边不停的响起：“废了那个不成器的太子！废了他！”那是独孤皇后的声音，作为杨坚相濡以沫的妻子，患难与共的战友，最得力的师爷，最亲密的爱人，最能左右他行为和决定的人，独孤皇后的话那是有着举足轻重的分量的。
　　“是啊！我辛辛苦苦建立的这个伟大帝国怎能让这样的一个人来继承呢？”这个问题开始一直在杨坚的脑子里反复地徘徊，杨坚开始厌恶起太子杨勇，他对他非常的失望。要让这个庞大的帝国焕发生机，必须要有一个圣明的君主，很显然，杨勇是不合适的。既然他不合适，那么就应该换掉他。宁可换掉太子，也不能让大隋帝国毁于这个庸人之手。三百多年前，英武的晋武帝司马炎就是把那个统一的大晋帝国交给了他那个平庸的儿子司马衷，结果大晋帝国很快就四分五裂，中国也从此进入了长达三百多年的分裂和大混战之中。眼前的教训历历在目，我不能再犯同样的错误。
　　为了大隋的万年永固，杨坚心里已经有了打算，他要大义没亲，废掉太子杨勇。可是在做这件事情之前，他首先要为自己的行为找到理论依据，一来可以减少阻力，二来也算给自己打气。毕竟杨勇是嫡长子，如果贸然提起废立之事，自己肯定会遭到反对的。所以他摆在他面前的障碍就是如何能获得宰相的支持。此时的宰相是高颎和杨素，杨素好像是支持自己的，可是这个高颎明显不会同意的。
　　他找来一位相士偷偷地为自己的两个儿子看相。相士看过以后说到：“晋王——就是杨广——双眉隆起，贵不可言。”
　　正合自己想的一样，这就好了，既然杨广面相上就是当皇帝的，那还等什么？可是杨坚是一个成熟的政治家，他要让下面的人把这层窗户纸捅破，这样才是比较好的办法。
　　他问仪同三司韦鼎：“你说我这几个儿子谁能继承我的位置呢？”
　　可是这个韦鼎也是个油滑的人，他一听就知道了杨坚的用意，明明已经有了太子，你还这样问，这不是此地无影三百两吗？可是他却不说破，只是说：“您应该选您和皇后所喜欢的那个人就行了。这不是微臣所敢说的话。”
　　这就很明显了，鬼都知道杨坚此时喜欢的是哪一个儿子。虽然他没有帮杨坚捅破这层窗户纸，可是他毕竟也表明了他的立场，是支持皇帝陛下的。
　　杨坚当然非常高兴：“你是不愿意说破啊！”背后的意思是，我知道你是知道我的用意的。
　　既然已经有大臣支持自己的意见，他决定试探一下两位宰相的意见。一天他召见了高颎和杨素。高颎和杨素都是隋朝非常重要的名臣，可虽然都是名臣，从人品来看，高颎显然要比杨素正直的多。
　　杨坚说：“我已经找人相面了，晋王是天命所归，应该取代太子。”
　　对于隋帝杨坚的提问，杨素一贯是奉承皇帝的意思，何况自己还是杨广集团的地下工作者。只要顺着皇帝的意思就能达到自己的目的，何乐而不为呢？他马上表示赞同。
　　可是高颎表现出了他耿直的硬汉本质，表示坚决反对，他说：“长幼有序，太子没有大过错，不可废！”
　　看到高颎态度非常强硬，如此坚决，杨坚知道多说无益，于是“默然而止”。
　　忧郁的杨坚回到自己的寝宫，闷闷不乐。
　　独孤皇后一看就知道自己的目的没有达成。她问杨坚：“是不是那个高颎反对？”
　　杨坚回答说是。毕竟他是宰相，如果此事得不到宰相的认可，还是暂时放一放吧！
　　独孤皇后愤怒了，她责问皇帝：“高颎反对他是有意图的。他这不是在坚持原则，只是在维护他自己的利益。高颎的儿子表仁娶了太子杨勇的女儿做老婆，他和太子杨勇是亲家，所以他才这样坚决反对废立太子。再说，你忘了他前些日子骗你的那件事情了吗？你怎么还能相信这个老狐狸？”
　　杨坚的思绪一下子又回到了以前：那时高颎的妻子去世了，杨坚要给他再娶一位夫人，可是高颎满面泪水地说：“我老了，以后我下朝以后也就念念佛经了，至于纳妾，我不敢再想了。”既然高颎这样说，杨坚也没有强迫他。可是没有多久，高颎忽然高兴地告诉隋帝自己的爱妾为自己生了一个男孩。杨坚听了非常替他高兴，可是独孤皇后又犯病了，她嫉妒地说：“陛下为他纳妾他不愿，原来他自己早已经有了意中人，他这样奸诈，陛下还能信他吗？”
　　杨坚想起了这件往事，怒火冲上了他的胸膛，接着他想起高颎组织自己远征辽东等等许多和自己对着干的事情，一桩桩，一件件，都是这个高颎，都是这个高颎！高颎，我怎么能再相信你？一个声音在他的脑海中大喊：不要相信这个高颎了，废掉太子，废掉太子……
　　高颎被疏远了，接着又因为被怀疑谋反而被罢免了官职。太子最后的保护伞也没有了。
　　就在杨坚已经坚决了要废立太子之时，他所派出的线人已经源源不断地把他们所掌握的关于太子不法的行为报告了上来，上到衣冠不正了，说话不文明；下到随地吐痰，乱扔垃圾。反正报上来的都是不好的。
　　然而杨坚不知道的是：在他得到的这许多情报中，还有许多是杨广派出去的卧底得来的。杨广离开京城的时候，他已经收买了许多太子东宫里的人员，让他们把太子的一举一动都随时报告给某人，然后再传到杨素那里。于是诸如什么太子在东宫里养了很多马匹，有谋反企图：太子砍了宫里的一颗老槐树送给东宫卫士做取火用具、动机不单纯等等事情都被当作大事情报给了皇帝。
　　杨坚决定对太子和晋王再做一次审核和考验，他派出了两位使者分别前往东宫和江都去看望两个人。不久他得到了回报，是两种截然不同的回报。
　　从东宫回来的使者说：“太子对使者表现得非常的不耐烦，发了许多牢骚。”
　　而从江都回来的使者说：“晋王一听说皇上派使者前去，他和王妃萧氏就早早地亲自到境上迎接。晋王非常思念皇上和皇后，说见到使者就好像见到父皇母后一样，总是泪流满面。而且晋王除了努力工作，也没有什么业余爱好，他们家里的侍女都是又老又丑，连家里的琴都是布满了灰尘，连琴弦都是断了的。”
　　杨坚感动得老泪纵横，看来还是二儿子好啊！