孫堅一看機會來了，立刻率兵北上，孫堅的頂頭上司是荊州刺史王叡，孫堅對他很有意見，據《吳錄》說，王叡當初指揮孫堅等人討伐零陵、桂陽等地的變民，王叡因為孫堅是武官，言辭之中頗有懈怠，引起孫堅的不滿。這時，王叡屬下武陵郡太守曹寅也對王叡有意見，曹寅便與孫堅聯手，借朝廷案行使者、光祿大夫溫毅的名義，把王叡逼得自殺。之後，孫堅率部繼續北上，到達荊州刺史部最北邊的南陽郡，這時候他手下已經聚集了數萬人。

南陽郡的太守張諮也是一個名士，是十一路關東聯軍之一。《漢末英雄記》也有一條是記載張諮的，但很簡單，說他字子儀，是潁川郡人，“亦知名”。據《三國志》記載，孫堅到了南陽郡，就給張諮發了一個公函，要求給自己調運軍糧。張諮跟手下人商量，大家都認為孫堅不過是鄰郡的一個太守，大家平起平坐，沒有權力征調軍糧，於是不理。孫堅很生氣，他帶著牛、酒等禮物拜會張諮，按照禮節張諮次日回訪。席間，孫堅手下的長沙郡主簿進來報告孫堅：“這次到南陽郡來，發現道路不修，軍用物資也不提供，請把南陽郡主簿推抓起來問問是什麼意思。”主簿是州、郡一級長官的屬下，相當於辦公室主任的角色，長沙郡辦公室主任當著南陽郡太守的面要抓南陽郡辦公室主任，既不合規也極無理，張諮一看不妙，想離開但已經晚了，孫堅作了佈置，他根本走不了。過了一會兒，孫堅的辦公室主任又進來報告：“問題已經查清楚了，是南陽郡太守有意讓義軍不能行動，為賊人拖延時間，請抓起來軍法從事。”就這樣，長沙郡太守孫堅當場把南陽郡太守張諮抓了起來，處斬，“郡中震慄”，孫堅再有什麼要求，就沒有不滿足的了。

《吳歷》一書則稱，孫堅到了南陽郡，張諮既不給軍糧，又不肯見孫堅。孫堅想繼續北上，但“恐有後患”，於是才決定除掉張諮。孫堅詐稱有急病，還裝模作樣讓巫醫祈禱，並派人到張諮處，說孫堅病得不行了，想把所部人馬託付給張諮。沒想到張諮極弱智，連這種話都信了，他親自率步騎五六百人來見孫堅，孫堅躺著跟他相見，談話之間“卒然而起，按劍罵諮”，並當場把張諮殺了。《吳歷》的這個說法可信度不如《三國志》，《吳歷》在政治立場上一向站在孫氏一邊，它的這條記載只是給孫堅殺張諮找一個說得過去的理由，畢竟連殺朝廷任命的地方大員，同時又是關東聯軍成員，孫堅幹得固然痛快，但負面效果也很大。

孫堅大概也想到了這個後果，於是作出一個重要決定：投靠袁術。袁術與袁紹、曹操同時逃出洛陽後來到了南陽郡境內的魯陽，他想投奔南陽郡太守張諮，但張諮並不很願意支援他，他的局面一直打不開。董卓在任命袁紹為渤海郡太守時也任命了袁術一個職務，是後將軍，這個職務很高，是朝廷的高階將領，袁術目前手裡能打的牌也就是這個後將軍了。正在一籌莫展之時，聽說孫堅主動來投靠，他簡直不敢相信，在確認無誤之後，立即上書朝廷“表奏”孫堅代理破虜將軍，同時兼任豫州刺吏。“表奏”這個詞從此就被濫用開了，破虜將軍和豫州刺史這樣的高階官員任命應該由天子親自頒佈詔書，但現在天子掌握在董卓手中，其他人的人事任擴音議已經沒有用，於是袁術來了個自行任命，事後報朝廷“備案”，這就是“表奏”，袁術開了這個頭，以後只要有點勢力的都開始“表奏”起來，人事任免從此混亂不堪，經常出現一個州好幾個刺史、州牧，一個郡好幾個太守的情況。

孫堅從此歸袁術指揮。袁術實際上是個眼高手低的人，一向很自負，但實際能力很差，不過他的命好，遇上了孫堅，他指揮的南陽郡這一路反而節節推進，戰績搶到各路聯軍的前面。袁術用孫堅，但對孫堅也很猜忌，據《江表傳》記載，就在孫堅取得陽人聚大捷、正要攻佔洛陽的時候，有人對袁術說：“孫堅如果佔領洛陽，