孫權派遣人用車到潘家，連床帶人搬來，潘濬伏面貼著床蓆不肯起身，涕泣交錯縱橫於臉龐，哀傷嗚咽無法自制。孫權慰勞並與他談話，用手巾擦拭潘濬的臉孔，潘濬起身下地拜謝。孫權用潘濬為治中，荊州諸軍事都向潘濬諮詢，荊州迅速安定下來。

五溪蠻夷叛亂集結，孫權讓潘濬假節，督導諸軍討伐他們。潘濬信賞必行，斬首以及生擒，數以萬計，各個蠻族受到致命性創傷，從此衰弱，五溪地方歸於寧靜。

當時潘濬的姨兄零陵人蔣琬為蜀漢大將軍，有人對武陵太守衛旌密告潘濬，說潘濬派遣密使和蔣琬互通訊息，有託身於蜀漢的意思。衛旌以此啟告孫權，孫權說：“承明不作這種事的。”即刻封起衛旌所呈的表示於潘濬，而徵召衛旌回，免他的官。

先前，潘濬與陸遜都駐在武昌，共同掌管陪都事宜。潘濬還軍後回覆故職，當時中書典校呂壹，竊弄權柄，擅自作威作福，潘濬和上大將軍陸遜同心為國家感到憂慮，每談論及此都痛苦而流涕。呂壹彈劾丞相顧雍、左將軍朱據等人，都被禁止會見。黃門侍郎謝宏在閒聊中詢問呂壹：“顧公的事情如何？”呂壹回答：“不樂觀。”謝宏又問：“如果顧公被辭免罷退，誰會來代替他？”呂壹還沒回答謝宏，謝宏說：“是不是潘太常來擔任這個職務？”呂壹考慮良久後說：“應該正如你所說。”謝宏告訴呂壹說：“潘太常每每切齒痛恨你，只是由於武昌距離遙遠沒有辦法行事罷了。今天來代替顧公，恐怕明天就擊斬你了。”呂壹大為恐懼，遂化除顧雍的事。潘濬請求回朝，前往建業，打算用盡辭語直言極諫。到達後，聽聞太子孫登已經數次上言此事而不被採納，潘濬便大宴百官，打算在席間親手誅殺呂壹，再一死為自己獨斷的行為謝罪，同時抵命，為國家除去禍患。呂壹聞知密報，稱有病不前往。潘濬每次覲見，都痛陳呂壹的奸邪陰險。因為這樣，呂壹的寵幸一步步的衰微，後來遂被查明而誅戮。孫權引咎責怪自己，因而向大臣致歉。

站在蜀漢的立場，感覺有些可惜的是，由於關羽又和潘濬關係惡劣，所以蜀漢失去了這麼一位剛正不阿的一方將帥。站在潘濬的立場，我們也不禁為他感到一絲欣慰，他不但得到真正適合他的明主，而且，由於他在赤烏二年先陸遜而去世，才不至於看到老友在赤烏八年被孫權活活氣死；我們真不知道如果性格正直的他，要是遭逢赤烏八年的事件會怎麼樣。潘濬，是一位在孫權心中的地位，與陸遜相等的大人物。

後世看演義長大的人們，總以為關羽是神，做什麼都是正確的。但就從潘濬這個人的境遇變遷上，就能看出關羽是一個什麼樣的人物，總之，呂布是絕對不會任由這樣一個驕傲自大、目無餘子、跟文臣不和的武將去鎮守荊州這樣一個兩面環敵的地方，其實當時讓張飛鎮守荊州，未必會比關羽差。

潘濬和蔣琬一起前來拜見呂布。呂布都待之甚厚，這兩個都是執政人才，是呂布日後非常需要的人才，畢竟天下很快就要一統了，呂布已經不需要太多軍事人才而需要很多執政人才。

蔣琬，字公琰，零陵湘東人，和表弟潘濬都知名於當世。歷史上，蔣琬以州書佐隨劉備人蜀後。提拔為廣都縣長官。對縣官之職，蔣琬殊感屈才，便眾事不理，終日醉酒。一次，劉備出巡廣都，蔣琬正爛醉如泥，無法前往迎接，劉備勃然大怒。將加以嚴厲的處罰。諸葛亮勸說：“琬社稷之器，非百里才也。政在安民。不尚修飾，願察之。”劉備尊重諸葛亮的意�