眼見自己的主張得不到孫權的認同，龐統一氣之下決定離開吳縣不再出仕，雖然孫權和魯肅極力挽留，但是龐統卻說他心意已決，既然孫權和自己的政治抱負相距甚遠，自己繼續留在江東也是於事無補，反而會引起臣工之間的不和。

無奈之下孫權只好同意了龐統的請辭，不過為了盡力留下龐統，他特地派遣平日裡與龐統私交不錯的陸績、全琮和顧劭等人前去送行。

送至閶門後龐統已然得知了他們的來意，分別對他們三人的性格特點和能力進行了品評，之後這三人都受到了孫權的重用。

龐統離去後孫權不禁感到十分惋惜，他對魯肅說：

「子敬啊，劉備身邊有個『臥龍』諸葛亮，曹操身邊有個『冢虎』司馬懿，為什麼我孫仲謀就留不住一個『鳳雛』龐統呢？難道真是的我不會用才嗎？」

對此魯肅卻僅僅是回以神秘的微笑，而並沒有正面回答孫權的問題。

離開了吳縣之後龐統輾轉來到了桂陽郡的耒陽縣，此時劉備因為孫權剛剛同意將南郡所有的守軍全部撤往江夏，劉備獲得了這個真空地帶後將留守在長沙、桂陽和零陵的大批官員調往南郡任職，而荊南各郡的人才吃緊，劉備便發布招賢令在各地求取有才能的人出仕。

見此狀後為了掩人耳目，龐統就地化名為楊耒開始應試。

龐統的的才能放眼整個天下都是屈指可數的，更不要說在這個小小的耒陽縣內拔得頭籌了，很快負責應試的簡雍就看中了龐統，並任其為耒陽縣令一職。

入職後龐統非但沒有展現出他那常人無法比擬的才能，反而整日不理縣務，縣衙內多日來的民訴堆積如山，龐統一律不予以理會。這引起了百姓和當地官員的強烈不滿，於是聯名上書坐鎮公安的劉備，要求嚴懲龐統。

考慮到這件事會危及荊州後方的穩定，進而影響劉備接下來西征的步伐，所以劉備不得不重視這件事，先是派遣專員調查此事並且先行罷免了龐統的縣令一職。

與此同時剛巧在舂陵調運兵糧的諸葛亮得知了這件事，便順道前往了耒陽察看。

當他在監獄內看到這個當地百姓皆唾罵的楊耒時，諸葛亮不由的驚呆了，因為站在他面前的這個衣著邋遢的人居然正是能力堪與自己比肩的龐統。

不過驚訝之餘諸葛亮對他為什麼會出現在荊州感到十分可疑：「我記得不久前吳候孫權還對你奉若上賓，怎一轉眼你就到這區區一縣之地來當起縣令來了？」

龐統嘆了口氣：「孔明你可能也猜得出來，之前周瑜主張攻伐益州之事就是我在後面極力推動的，本想繼續讓孫權執行這個遠大的計劃，但是沒想到的是魯子敬和孫仲謀兩人目光短淺，不僅沒有採納我的建議，反而如你們所願將南郡交給了劉備，如此以來你們進攻西川便成了坦途，可惜啊……放著這『天府之國』不要，想必孫權日後肯定要後悔的。」

打從一開始諸葛亮便猜出了孫權西征巴蜀定然不是周瑜一人的謀劃，能夠出此險招奇招的也就只有謀略能與自己相當的「鳳雛」龐士元了。

諸葛亮席地而坐笑著對面前的龐統說：

「士元兄這席話聽得在下一身冷汗，不過既然東吳沒有容閣下之地，不妨你就來荊州為我主劉皇叔效力吧，眼下我主正在廣納賢才，憑藉兄臺的大才必定能夠一展拳腳。」

看著對自己誠意想要的諸葛亮，龐統的表情卻讓人難以琢磨：

「孔明，你真的願意讓我加入劉皇叔的麾下？你可別忘了，如果我一旦出仕劉備的話可能會對你的地位造成威脅，這是你希望看到的嗎？」

對此諸葛亮顯得很淡然：「我與你一樣，心中想的只有復興漢室罷了，功名於我實在沒有太大的誘惑力，等到天下平定了之後我還是更加願意回到