”司馬炎恍然大悟說：“你現在就提兵去攻打吳國如何？”羊祜說：“我年老多病不能擔當這個重任陛下還是另選智勇之士吧。”於是就辭別了司馬炎而歸鄉了。在那年十一月羊祜病危司馬炎親自駕車來到他家裡問候他的病情。當司馬炎走到他的臥榻前時羊祜流淚說：“我即使死一萬次也不能報答陛下啊！”司馬炎也哭著說：“我深深悔恨沒有采納你的伐吳之策。今天誰可以繼承你的遺志呢？”羊祜含淚說：“我就要死了不敢不盡我的愚誠。右將軍杜預可以擔當這個重任如果要伐吳必須任用他。”司馬炎說：“舉薦賢才是美事啊你為什麼在朝廷上推薦人才之後卻自己燒掉奏稿不讓別人知道呢？”

羊祜說：“在朝廷上接受官職，卻在私人家裡拜謝恩賜，這是我不能做的事情。”說完這句話後就去世了。晉武帝司馬炎大哭著回宮，下令追贈羊祜為太傅、巨平侯。南州的百姓聽到羊祜去世的訊息，都停止了市場交易而哭泣，江南守邊的將士也都哭泣。襄陽的人們懷念羊祜在世時的日子，他常常遊覽峴山，於是人們在那裡建廟立碑，四季祭祀他。來往的人看到那塊碑文，沒有不流淚的，因此那塊碑被稱為“墮淚碑”。後來有人寫詩讚嘆道：

曉日登臨感晉臣，古碑零落峴山春。

松間殘露頻頻滴，疑是當年墮淚人。

晉武帝按照羊祜的建議，任命杜預為鎮南大將軍，都督荊州事務。杜預為人穩重練達，好學不倦，最喜歡讀左丘明的《春秋傳》，無論坐著還是躺著都常常隨身攜帶，每次出入都讓人在馬前拿著《左傳》，因此當時的人稱他為“左傳癖”。他奉晉武帝之命，在襄陽安撫百姓，訓練軍隊，準備伐吳。

此時吳國的丁奉、陸抗都已去世，吳主孫皓每次宴請群臣，都讓他們喝得大醉，又設定了十個黃門郎作為糾察彈劾的官員。宴會結束後，他們各自奏報群臣的過失，有犯錯的人或者被剝去麵皮，或者被挖出眼睛，因此吳國的人們都非常害怕。晉國的益州刺史王濬上疏請求伐吳，他的奏疏說：

孫皓荒淫兇暴，應該迅速征伐。如果一旦孫皓去世，另立賢明的君主，那麼就會成為強大的敵人。我造船已經七年了，每天都有船隻朽壞。我已經七十歲了，死亡的日子隨時可能到來。這三個條件一旦有一個不滿足，就很難再有機會了。希望陛下不要錯過這個時機。

晉武帝看了奏疏後，就與群臣商議說：“王公的議論與羊都督的意見相吻合。我已經決定了。”侍中王渾奏道：“我聽說孫皓想要北上，軍隊已經整備完畢，聲勢正盛，難以與他爭鋒。我們再等一年讓他們疲憊不堪，然後再出兵就可以成功了。”晉武帝聽從了他的建議，於是下令停止出兵行動，退入後宮與秘書丞張華下圍棋消遣。這時近臣奏報說邊庭有奏表送到。晉武帝開啟一看原來是杜預的奏表大意是說：

過去羊祜沒有與朝臣廣泛商議就與陛下密謀伐吳的計劃所以導致朝臣們有很多不同的意見。凡事都應該權衡利弊我預計此舉的利益有十分之八九而其害處只是可能無功而已。自從秋天以來我們討伐吳國的意圖已經逐漸暴露出來如果現在中止行動孫皓會感到恐懼而遷都武昌修繕江南各城遷移居民這樣我們的城池就難以攻克野外也沒有什麼可以掠奪的了。那麼明年的計劃也就無法實現了。

晉武帝看完奏表後張華突然站起來推開棋盤拱手奏道：“陛下聖明武勇國家富強百姓安居樂業而吳主孫皓荒淫暴虐百姓憂慮國家敗亡。現在我們如果討伐吳國可以不費多大力氣就能平定希望陛下不要再猶豫了。”晉武帝說：“你的話洞察了利害關係我不再有什麼疑慮了。”於是立即出宮升殿任命鎮南大將軍杜預為大都督率領十萬大軍從江陵出發；鎮東大將軍琅琊王司馬伷從塗中出發安東大將軍王渾從橫江出發建威將軍王戎從武昌出發平南將軍胡奮從夏口出發各率領五萬