驟然間沒了，中國更亂更慘，這就是為什麼他要來管這份閒事，要挾天子以令諸侯。否則他現在應該更關注義大利的局勢。掌控義大利對他來說更符合利益，也靠譜多了。歐洲人都知道他倫敦公爵大人，大清幾乎沒人知道他和他的價值，如果他以歐洲資本家的身份出現，恐怕大清這些傢伙根本又找到攘夷的藉口了。

不管怎麼樣，唐寧讓肅順去制定一個計劃，對旗人減奉一半能弄出多少銀子來，全減是不是可能。

不僅讓被太上皇軟禁的大臣想轍，也讓北京的朝臣和各地督府想轍。此時，肅順向唐寧推薦，一個叫郭松燾的人才可用。此人被肅順推薦後被咸豐帝賞識，入直南書房，南書房是皇帝的私人秘書機構。

咸豐帝就派他到天津前線隨僧格林沁幫辦防務。1859年初，郭嵩燾來到天津僧格林沁處。但僧格林沁這位蒙古王爺根本不把郭嵩燾這位南方書生放在眼中，對他非常冷淡。而郭嵩燾本就文人氣十足，再加自己是皇上親派，並且明確他與僧是“平行”，不是“隨同效用”，所以也咽不下這口氣，更不明白幫辦按照潛規則應少管事的道理，反而盡職盡責，結果僧格林沁更為不滿，因此兩人合作極不愉快。

1859年10月中旬，由於山東沿海貪汙嚴重，咸豐帝命令他前往煙臺等處海口查辦隱匿侵吞貿易稅收情況，而對他一直不滿的僧格林沁卻派心腹李湘棻作為會辦隨行。雖然郭嵩燾無“欽差”之名，但所到之地，大小官員都知道他是皇上親派檢查財務稅收的大員，因此對他的接待格外隆重，並都備有厚禮。

沒想到郭嵩燾向來清廉方正，嚴於律己，規定“不住公館，不受飲食”，更不受禮。他的隨行人員因不能發財而大為不滿，那些地方官也尷尬不滿，因為他破壞了官場**已久的遊戲規則。到山東沿海各縣後，他認真查賬，發現從縣官到普通差役幾乎人人貪汙稅款，賄賂公行，而且稅外勒索嚴重驚人，超過正稅四倍多。

他立即採取種種有力措施整頓稅務，堵塞漏洞，並設局抽取厘金。所謂“厘金”是清政府在財政極端困難時為鎮壓太平天國專設的捐稅，郭嵩燾想整頓、減少其他易為官員中飽私囊稅、費，而透過新設厘局使稅收真正為政府所得。這些措施嚴重侵犯了當地大小官吏的利益，他們自然極為不滿。而設局抽釐又增加了新的名目，因為在政治嚴重**的情況下，新任厘局紳董也一樣貪婪。結果厘局剛成立不久，就發生了福山縣商民怒搗厘局，打死新任紳董的騷亂。

儘管如此，這次稅務整頓還是大有成效，查整了一批貪官汙吏，增加了政府稅收。但郭嵩燾萬萬沒有想到，正當他自以為有功於朝廷的時候，突得朝廷以他在山東查辦貿易不妥、交部議處的通知。

原來，書生氣十足的郭嵩燾根本沒有想到，李湘棻一直在暗中監視自己的舉動，並隨時向僧格林沁彙報。而他對僧格林沁派來的這位“會辦”竟毫無防範，郭嵩燾開設厘局後，李即向僧報告說如此大事竟未與他這個會辦商議便獨自決定。這個報告使原本就認為郭嵩燾目中無人的僧格林沁大為光火，認為不與自己派去的“會辦”商議實際是未把自己放在眼中，便在12月底以郭未與會辦李湘棻同辦、未與山東巡撫文煜面商便派紳士設局抽釐以致民變為由，上奏要求彈劾郭嵩燾。

以僧格林沁的地位之尊，他的意見當然深為朝廷所重。而且，迂氣十足的郭嵩燾在處理山東沿海稅務卻與山東地方大員、山東巡撫文煜少有溝通協調，也使文煜大為不滿，站在僧格氏一邊反對他。1860年元月，郭嵩燾被迫離開山東返京，悲嘆“虛費兩月搜討之功”，“忍苦耐勞，盡成一夢”。

返京途中他備受冷遇，與來時一路的隆重迎送恰成鮮明對照，使他飽嘗世態炎涼，領略到官場的勢利。回京後，他受到“降二級呼叫”的處分，