南越動武。而到漢武帝時，形勢已大不相同了。經過景帝的“削藩”和平吳楚七國之亂，同姓諸侯王的權勢大不如前。漢武帝行“推恩令”，強令諸侯王分封自己的子弟，使封地越分越小；同時藉口取消了不少高官貴族的封爵，使中央王權得到了鞏固，皇帝有能力獨攬朝政大權。整個國力達到了有漢以來最為鼎盛的時期，造成了國富民強和安定的政局。這樣，徽定邊患，開拓疆域，建立大一統的漢帝國成了漢武帝的當務之急。這個時候，雄心勃勃的漢武帝再也不滿足幹南越王國表面臣服，實質上仍是半獨立的藩屬關係了。政治上的穩定，經濟上的繁榮，軍事上的強大，使漢武帝感到用武力解決南越國問題的時機到來了。

早在唐蒙出使南越時，因食蜀產拘醬，無意中發現了從西蜀至夜郎，再從樣柯江浮舟一而下，可至番禺城的通道。唐蒙發現這條通道後，曾上書漢武帝說：“南粵王黃屋左蠢，地東西萬餘里，名為外臣實一州主。今以長沙、豫章往，水道多絕，難行，竊聞夜郎所有精兵，可得十萬，浮船樣柯，出其不意，此制越一奇也。誠以漢之強，巴蜀之饒，通夜郎道，為置吏，甚易。”唐蒙的建議，是讓漢武帝利用這條水道出奇兵制越，漢武帝聽罷大喜，拜唐蒙為中郎將，帶一千兵和許多漢帛絲綢財物等，赴夜郎國先行招撫。唐蒙帶了大量錦緞，率一千人做護衛，出都南下，沿途經過許多險阻，才進人夜郎國。夜郎國王名叫多同，因為地處閉塞，素與外界不通，這多同還以為世上惟他夜郎最大，見到漢使唐蒙，不禁問道：“漢朝與我誰大？”唐蒙欲笑不得，只得如實俱述。後世相傳的“夜郎自大”的故事便源於此。唐蒙一邊講述漢朝如何強盛，如何富饒，又把錦緞置於帳前，五光十色，錦繡成章，夜郎王見所未見，聞所未聞，不由得瞳目結舌，表示願臣屬於漢，當下與唐蒙訂立約章。

夜郎國在趙佗執政時期曾接受趙佗贈給財物，與南越關係密切，有役屬關係。唐蒙對夜郎王厚送財物，曉諭威德，恩威並施，終於說服夜郎歸漢，其附近的小部落也相約歸附漢朝。漢武帝不失時機地在夜郎設鍵為郡，為平定南越伏下了奇兵。

元狩年間（公元前122…公元前117年），漢武帝以南越將叛，欲與越軍用船進行水戰為由，在長安西南開鑿昆明池，周圍四十里，建造樓船，訓練水軍，作好與越軍進行水戰的準備。

除此之外，漢武帝連連頒詔，拓邊關，廣絕域，西至沫若水（沫河和若河，即今大渡河），南至拜柯江（一說即今北盤江，一說即今都江），鑿靈山道（今廣西南部），架橋孫水〔一說在今貴州甕安西北），直達印都（西南州郡）。漢廷在這一帶設立了一都尉，十縣令，歸蜀管轄。

就在漢武帝集中力量準備平定南越時，南越國本身也發生了變化。趙嬰齊在長安時，曾娶邯鄲繆氏為姬妾，生子趙興，而他在南越時，已娶越女為妻，生子趙建德。嬰齊接南越王位後，受繆氏姬妾的迷惑，竟然向漢廷請求立繆氏為王后，趙興為太子。出於利益的考慮，漢武帝批准了他的請求。趙嬰齊這種舍長立幼的做法，打破了封建常規制度，為南越國的滅亡種下了禍根。當時，南越承相呂嘉等人，曾在立嗣的問題上勸諫過趙嬰齊，“蠱於嬰齊擇立太子之日，積極誠諫，以去就爭，使改立建德，嘉為國重臣，爭之不已”。遺憾的是，此時的嬰齊已聽不進這些臣僚的勸諫了，他這個荒唐的做法，成為導致南越國覆亡的導火線。

嬰齊繼位不久即病死，漢朝追封他為“明王”，太子趙興即王位，母親繆氏被封為王太后。這位太后長在長安，在未嫁嬰齊之前，與一名叫安國少季的官吏有過暖昧關係，此事整個長安上層人物幾乎人人知曉。元鼎四年（公元前113年），漢武帝專門派安國少季為使者，帶上辯士諫大夫終軍和勇士魏臣等到番禺，還派衛尉路博德將