黎陽，關閉城門，大索男夫。並向附近各郡傳送文書，以討伐來護兒為名，命各郡發兵會集黎陽。楊玄感任命趙懷義為衛州刺史、東光縣尉元務本為黎州刺史，河內郡主為懷州刺史。並選精壯運夫五千餘人，船伕三千餘人，殺三牲誓師，起兵反楊廣。他曾立下誓言：“我身為柱國，家累萬金，至於富貴無所求也，今不顧破家滅族，但為天下解倒懸之急，救黎元之命。”以取得人心，前來投奔的群眾日有數千，軍隊迅速擴充套件到一萬多人。當地的父老還竟相送來酒肉，犒勞楊玄感的軍隊。

楊玄感舉兵後李密就到了黎陽，就被楊玄感任命為軍師。楊玄感向他問自己該怎麼走下一步，李密曰：

“愚有三計，惟公所擇。今天子出征，遠在遼外，地去幽州，懸隔千里。南有巨海之限，北有胡戎之患，中間一道，理極艱危。今公擁兵，出其不意，長驅入薊，直扼其喉。前有高麗，退無歸路，不過旬月，齎糧必盡。舉麾一召，其眾自降，不戰而擒，此計之上也。又關中四塞，天府之國，有衛文升，不足為意。今宜率眾，經城勿攻，輕齎鼓行，務早西入。天子雖還，失其襟帶，據險臨之，故當必克，萬全之勢，此計之中也。若隨近逐便，先向東都，唐禕告之，理當固守。引兵攻戰，必延歲月，勝負殊未可知，此計之下也。”

楊玄感對於李密獻的上、中、下三策，選擇了下策。他認為打下當時的實際都城洛陽，才能大長士氣，並可以抓獲文武百官的家屬作為人質，於是盡焚屯於黎陽的龍舟，率兵向東都洛陽進發，準備進軍東都洛陽，佔據中原以圖發展。此時留守東都的越王楊侗、民部尚書樊子蓋聞知此訊大驚，急忙聚兵抵抗。

楊玄感命其弟楊玄挺率一千人進攻河內，自己從汲郡（今河南淇縣）南渡黃河，向洛陽前進。楊玄感的叛軍未遇任何抵抗，很快到達偃師（今河南偃師）。楊玄感乃命其弟楊積善率兵三千從偃師以南沿洛水西進，楊玄挺自白司馬坂（今河南洛陽）越過邙山從南面向東都發起進攻，楊玄感率三千餘人馬緊隨其後。洛陽方面派河南令達奚善意率精兵5000抵擋楊積善，將作監及河南贊治裴弘策率八千人迎戰楊玄挺。當時，楊玄感計程車卒多為沒受過正規訓練的民夫，手執單刀柳盾，也沒有弓箭鎧甲，但是楊玄感本人驍勇無比，每當雙方交戰，他總是親自手持長矛，披掛上陣，身先士卒。將士們都深受鼓舞，願為楊玄感效死，故達奚善意軍不戰自潰，而裴弘策軍也五戰五敗，只帶十餘騎逃回洛陽城中。14日，楊玄挺直抵太陽門，將洛陽包圍。

包圍了洛陽的楊玄感派投降過來的韋福嗣代自己修書一封給留守洛陽的隋主將樊子蓋，書曰：

“夫建忠立義，事有多途，見機而作，蓋非一揆。昔伊尹放太甲於桐宮，霍光廢劉賀於昌邑，此並公度內，不能一二披陳。高祖文皇帝誕膺天命，造茲區宇，在〔璣以齊七政，握金鏡以馭六龍，無為而至化流，垂拱而天下治。今上纂承寶曆，宜固洪基，乃自絕於天，殄民敗德。頻年肆書，盜賊於是滋多，所在修治，民力為之凋盡。荒淫酒色，子女必被其侵，耽玩鷹犬，禽獸皆離其毒。朋黨相扇，貨賄公行，納邪佞之言，杜正直之口。加以轉輸不息，遙役無期，士卒填溝壑，骸骨蔽原野。黃河之北，則千里無煙，江淮之間，則鞠為茂草。玄感世荷國恩，位居上將，先公奉遺詔曰：“好子孫為我輔弼之，惡子孫為我屏黜之。”所以上稟先旨，下順民心，廢此淫昏，更立明哲。四海同心，九州響應，士卒用命，如赴私讎，民庶相趨，義形公道。天意人事，較然可知。公獨守孤城，勢何支久！願以黔黎在唸，社稷為心，勿拘小禮，自貽伊戚。誰謂國家，一旦至此，執筆潸泫，言無所具。”

楊玄感的信中歷數楊廣罪惡，還提出自己要像伊尹放太甲、霍光廢昌邑上那樣黜廢楊廣，“廢昏立明”但樊子蓋並不是