玄感為儀同，楊玄獎為清河郡公。賜物萬段，粟萬石，加以金寶，又賜陳後主妹及女妓十四人。後又接替去了幷州的楊廣任內史令成為宰相之一。

受命平叛的楊素因軍情緊急沒有等在幷州回來的楊廣便先行出發，率軍由楊子津（江蘇揚州南）渡江，首先擊破叛軍朱莫問（自稱南徐州刺史）於京口（江蘇鎮江）。繼而擊敗晉陵（江蘇常州）顧世興，顧世興率其都督鮑遷等再戰，楊素擊破之，俘鮑遷以下3000餘人。又進擊無錫葉略，平之。時沈玄儈、沈傑等等正圍攻蘇州，刺史皇甫績屢戰不利，楊素軍趕到將其擊敗，沈玄儈逃至南沙人陸孟孫處，楊素進擊陸孟孫於松江，大破之，生擒陸孟孫、沈玄儈。黟、歙叛軍沈雪、沈能據柵自守，又攻拔之。高智慧（自稱東揚州刺史）率部據守浙江（錢塘江）東岸營壘，屯據要害，周圍百餘里，船艦千艘，遮蓋江面，鼓譟而進。總管來護兒建議：“吳人累銳，利在舟楫。必死之賊，難與爭鋒。公且嚴陣以待之，勿與接刃，請假奇兵數千，潛度江，掩破其壁，使退無所歸，進不得戰，此韓信破趙之策也”。楊素納其言，並命其率輕型戰船數百艘，偷渡浙江，以奇兵突襲，並焚燒高智慧後方營壘，使其恐懼不安；楊素則乘機率軍從正面突擊，大敗高智慧軍。爾後，楊素派行軍總管史萬歲率軍2000人進攻婺州，自率主力由海道追擊逃入海中的高智慧，直趨溫州。高智慧來戰，楊素將其擊敗，俘數千人。而後又平定蔡道人、汪文進。楊素在溫州擊敗沈孝徹後，便由陸路轉向天台、臨海（今屬浙江），繼續追擊反隋散兵，前後戰鬥達100多次。高智慧退守閩、越。

楊素帶兵叛亂，一路勢如破竹，但是楊堅徵召的兒子楊廣卻還沒有到江南，於是楊堅擔心楊素久在江南領兵對朝廷不利便以楊素久戰於外，馳召還京，慰問備至，賞齎更厚，當時賜彩物三千段，並加封其子玄感為上開府。這江南叛亂剛剛平的差不多的時候楊堅就急急召還統兵的楊素，就是因為兒子不在他不放心軍隊掌握在別人的手裡。

楊素知道皇帝的心思，所以聞召即歸，表示並無異心，而後仍以餘寇未靖，請再出師。楊堅看到他見詔即回並無不忠之心，且兒子楊廣已經到了江南。便下詔給返京途中的楊素剿說：“朕憂勞百姓，日旰忘食，一物失所，情深納隍。江外狂狡，妄構妖逆，雖經殄除，民未安堵。猶有賊首兇魁，逃亡山洞，恐其聚結，重擾蒼生。內史令、上柱國、越國公素，識達古今，經謀長遠，比曾推轂，舊著威名，宜任以大兵，總為元帥，宣佈朝風，振揚威武，擒剪叛亡，慰勞黎庶。軍民事務，一以委之”。

於是楊素繼續率軍由會稽走海道向泉州追擊。時泉州人王國慶為南安豪族，殺刺史劉弘，據州為亂，各處逃亡的叛軍皆附於他。王國慶自以為海路險阻，而隋軍多為北方人，不習海戰，遂不設防。楊素率水師從海道掩至，王國慶大驚，棄州逃跑，其眾或入海島，或守溪洞。於是楊素分遣諸將，水、陸分進追捕。並派人密勸王國慶：“爾之罪狀，計不容誅。唯有斬送智慧，可以塞責”。王國慶為了保命於是抓獲投靠自己的高智慧，送交隋軍，楊素將其斬首，餘眾全部投降。

而剛從幷州回到長安後又馬不停蹄趕往江南的楊廣看到楊素快速進軍，便立即派大將郭衍“領精銳萬人先屯京口”，然後向西進兵皖南“黟，歙諸洞”，盡滅叛軍；再者讓自己晉王府參軍段達也率軍一萬進攻方、滁二州，又破汪文進於宣州，有力地配合了楊素的軍事行動。

雖然對於楊廣做皇帝以前的一些事情史書有意忽略而沒有很詳細的記載，但是在楊廣再次以皇子的身份下江南的表現依然能從一些事件中看到。楊廣到了揚州後沒有像楊素一樣直接帶領大軍把叛亂者鎮壓，然而他還是以他特有的攻心戰術成功地招撫了大批叛這。如吳郡世族陸知命，在三吳地區人