实际上此时杨坚也参与到了废立的阴谋中来了，而他的对手就是满朝正直的文武大臣。杨坚在这些日子里故意跑出去散散心，回来之后第二天就登上了大兴殿，装模作样地对满朝文武说：“我刚回到京城，本应该开怀畅饮，可是不知道怎么回事儿，你们一个个全都愁眉苦脸的，难道是不想让我回来。”
礼部尚书牛弘装傻充愣，说：“皇上这么累，我们都不能为您分忧，这是我们的错。”杨坚不想听这个，牛弘根本就是故意地转移话题，他以为下面的这些臣子，立即就会报告太子的事情，他就可以趁机废立，没想到居然没人开口，看来太子在朝廷里还是有一定的人脉的，这就让他更加的不安心了。
于是杨坚装作发怒，喊道：“你们别以为我在外面什么也听不到，实际上我什么都清楚，我回来的时候，京城戒严，好像有敌国入侵，这到底是怎么回事儿？！”
大家都不说话，暗想，那不都是你自己安排的吗？
杨坚又说：“这几天我太紧张了，拉肚子上厕所都要特别的小心，生怕发生巨大的兵变，难道你们不知道吗？！”
大臣们还是不说话！
杨坚没辙了，就对杨素说：“你来说说吧。”
杨素早就画好了妆准备出场了，皇上刚说完他就站了出来，大模大样拿出一张纸，全都是情报部门捕获的太子要谋反的证据，然后严肃地说：“我从前奉皇上的指令，前来京城，命皇太子调查刘居士的残余党羽，太子接到诏书，却不肯去办，还说跟他们没有关系。后来还说，当年举大事的时候，皇上如果失败他第一个会死，现在成功了，却没有享受到很好的待遇，还不如其他几个弟弟，说他没有自由，说皇上对他不够好。”
杨素跟着说：“这简直就是目无皇上，也是不孝，反正事儿就是这么个事儿，大家自己想想吧。”
杨坚跟着补充说：“杨勇是我以前在当老百姓的时候生的，所以素质有点低。原来我希望他能改过，所以才一直忍着，可是后来却更加变本加厉。当时元妃被人害死，我去问他，他对我愤怒地说：将来还要杀元妃的亲爹。他的儿子刚刚诞生，我和皇后非常喜欢，就抱过来抚养，自从有了芥蒂之后，他就不断派人来，一定要把孩子抱回去，而且云昭训是她老爹和老娘私通才生下的，她简直就是个贱种，跟我们家也不般配，他却一直宠幸。这样的人怎么能够当太子呢，所以我打算换人。”
杨坚刚才说的这些，其实全都是鸡毛蒜皮的小事儿，查了半天，应该说杨勇根本没问题。如果按照上面的话来说，顶多也就是个不孝，这也够不上废立太子的程度吧。杨坚就是要小题大做。
下面有很多人立即就提出了不同意见，大将军元晏就劝阻说：“自古以来当太子的都挺不容易的，都是众矢之的，如果被陷害了，再想平反就不容易了，所以皇上还是三思而行，再考虑考虑。”