是有著嚮往，可以說是楊廣也想登上權力的巔峰的。所以他在鎮守江南的十年間為了瞭解朝中動態“每令人密覘京師訊息，遣張衡於路次往往置馬坊，以畜牧為辭，實給私人”，同時在長安城內設立訊息通道。要說楊廣沒有對大哥的太子之位在背後玩花樣，那也是不可能的。

據說楊廣奉命到江南任揚州總管時，臨走前，進宮覲見母親孤獨皇后時，說了一番掏心的話後，楊廣伏地痛哭，獨孤皇后見狀，也不免潸然淚下。楊廣說：“臣鎮守江都，將要告別母后，臣心中時刻思戀母后，今日一別，不知何時相見，心中甚感淒涼。”

而後楊廣又在母親面前燒了一把楊勇的火，說：“臣雖然愚笨，但還會常念手足之情，不知什麼原因，招致了東宮的怨恨，以致對我常懷盛怒，欲加害於我，想置臣於死地，因此我整日提心吊膽，不知死於何時。”

獨孤皇后聽了楊廣的話之後，氣湧心田，憤然道：“東宮也太不像話了。我為他娶的元家女，指望他繼承大業，竟不好好做夫妻，專寵雲氏。元妃本無病痛，忽然暴亡，肯定是有人將她毒死了，這件事情我沒有追查就算了，他為什麼又要在你身上打主意？我在的時候都這樣做，我死了，那就更加不得了了。如果你的父皇去世之後，他命你等兄弟向那個小妖精下跪問安，這是何等恥辱！”獨孤皇后就此打定主意，要廢楊勇，立楊廣當太子。

還有就是讓楊素為自己講好話，楊素的弟弟楊約當時是大理少卿，楊素凡是要做什麼事，都先和楊約商量後再做。楊廣心腹宇文述邀請楊約，陳設了許多玩物器皿，和他一起暢飲，一起賭博。每次宇文述都裝作下輸了，把楊廣所送的金寶都輸給了楊約。楊約得到很多金寶，就向宇文述略表謝意。宇文述就說：“這些金寶是晉王楊廣的賞賜，讓我與你一起玩樂的。”楊約大吃一驚，說：“為什麼？”宇文述就轉達了楊廣的意思，勸說楊約：“恪守常規固然是人臣的本份，但是違反常規以符合道義，也是明智之人的期望。自古的賢人君子，沒有不關注世情以避免禍患的。你們兄弟功名蓋世，執掌大權有多年了，朝臣中被你見侮辱的人數得清嗎？還有，皇太子往往想做的事而不能做到，常常切齒痛恨當政的大臣；您雖然主動地結好於皇上，但是要危害您的人本來就很多啊！皇上一旦棄群臣而去，您又靠誰來庇護呢？現在皇太子不為皇后所喜愛，皇上平素就有廢黜皇太子的意思，這您是知道的。現在要是請皇上立晉王楊廣為太子，那就全憑您哥哥的嘴了。要是真能在這時建立大功，晉王必定永遠將這事銘記心中，這樣您就可以去掉累卵之危，而地位象泰山一樣的安全穩固了。”楊約深以為然，就將此話告訴了楊素。楊素聽了，非常高興，拍著手說：“我的智慧思慮遠遠達不到這兒，全仗你啟發了我。”楊約知道他的計策成功了，又對楊素說：“現在皇后的建議，皇帝無不採納。應當趁機會早早自動結交依靠皇后，就會長久地保住榮華富貴，並傳給子孫後代。兄長若是遲疑，一旦情況發生變化，太子執掌朝政，恐怕災禍很快就要臨頭了！”楊素聽從了楊約的話。

過了幾天，楊素進入皇宮侍奉宴會，他婉轉地說：“晉王楊廣孝悌恭儉，像他父親一樣。”用此話來揣摩獨孤皇后的意思。獨孤皇后流著淚說：“您的話說得對！我兒子阿麼（楊廣）常孝敬友愛，每次聽到皇上和我派宮內的使者去，必定親自遠迎；說到遠離雙親，沒有一次不落淚的。還有他的妻子也很令人憐愛，我派婢女去她那裡，她常與婢女同寢共食，哪像睍地伐（楊勇）整天沉溺於酒宴，親近小人，猜疑防備骨肉至親！所以我愈加愛憐阿麼，常常擔心睍地伐將他暗害。”楊素瞭解了皇后的意思，因此就竭力地說太子楊勇不成器，於是皇后就給楊素財物，讓他輔佐楊堅進行廢立太子之事。

其實歸結起來，楊勇被廢的原因有三點。