帝卻是什麼正事也不管，最讓霍光厭煩的是，這個皇帝好淫亂，來宮裡只有幾天就有些雞飛狗跳的，他不僅從外面蒐羅了一些美女帶到宮裡，同時還在長安城裡面找了近百名花枝招展的姑娘，上至百官的女兒，下至青樓粉頭，一時間內，長安城裡議論紛紛。

傅介子對這個皇帝是相當的失望，但是又不好說什麼，萬幸這幾天皇帝沒有再派人來找殷茵，這讓他放心了許多，但是隻過了幾天，突然有御林軍來封了祆廟，並且以“結亂黨、妖言禍眾”為藉口將傅介子一家下獄。

傅介子略一問之下就明白了是怎麼回事，趕情還是皇帝在找茬。殷茵有些後悔，向傅介子和傅母一個勁得道謙，說是自己害了傅家。傅介子並不擔心，果然，只過了一天，便被放了出去，因為祆廟的修建是經過朝廷審批的，而且有大將軍主持大義，自己只要真的沒有做錯事，大漢的律法就罰不到自己身上來。

人是放了回去，但是祆廟卻被封了，傅介子再去審批，官員們勸他暫時停一停，皇帝明顯是在找茬子，身為臣子，最好別頂風而上，否則吃虧的是自己。

傅介子氣忿之下請了病假，再也不上朝了。

在家裡面陪母親和妻子，日子倒也過得清閒，就是他的心一直放在了西域那邊，這些天殷茵明顯得乖巧了許多，她也知道自己惹了個大對頭，心裡面的愧疚一直沒有消去，儘管傅介子和傅母都說不怪她。

在家的這些天，時常有同僚們過來訴苦，走在長安城裡面也能聽到不少關於皇帝的怨言，雖然都沒有明說，但是聰明人一聽就明白是什麼意思。這一日，傅介子去大將軍府拜會，大將軍神情凝重，傅介子感覺到大將軍有話要說，道：“大將軍，是不是有什麼事情？”

霍光道：“想必你這些天也對皇帝的所做所為有所瞭解了，你有什麼意見？這裡沒有外人，你但說無妨。”

傅介子對霍光是相當信任的，也沒有什麼顧忌，道：“大將軍，皇帝的所做所為本來是我們做臣子的不方便說的，但是皇帝初到長安，名聲似乎不太好，長安城裡面議論紛紛，想必許多大臣都已經知曉。說句大不忠話，再這麼下去，漢朝的江山社稷，大將軍十多年的輔國安邦，只怕會毀在他手裡。”

霍光面無表情，嘆了口氣，道：“現在又有什麼辦法，老夫真是無悔，昌邑王的行為不檢點這是我們早已經知道的，只怪我當時不慎重，現在後悔也晚了。”

傅介子似乎是明白了霍光的話中之話，但是此事太大，而且有些忤逆，傅介子一直也不願意說出來，道：“大將軍何不問問別的大臣的意思？像車騎將軍張安世、丞相田千秋等大臣。”說到這裡，傅介子頓了一下，道：“屬下明白大將軍的意思，只是此事牽一髮而動全身，不可不謹慎。”

霍光道：“可惜，如此一做勢必背上廢立君主的千古罵名。我霍光一生為朝廷，實在有些拿不定主意。”

傅介子心裡面暗喜，看來大將軍霍光是有意要廢立劉賀另立新主了，這對傅介子來講實在是太大的喜事了，傅介子思之再三，道：“大將軍忠心為國，現在昌邑王初上任，行為放浪無行，百管皆有不滿，大將軍你順天時，應*，只要一切是為了大漢朝的千古江山，無有不可。”

霍光臉上浮現出一絲的笑意，道：“不知歷史上可有這樣的先例？”

傅介子知道霍光是有意問之，“伊尹廢太甲”的事情他不可能不知道，意思是要自己提出來，於是道：“當年伊尹是商朝的宰相，商王太甲無行，伊尹廢而另立君主，保全了江山社稷，後代皆稱之為忠臣，大將軍何不效伊尹，做我們大漢朝的忠臣呢？”

霍光沉默良久，讓傅介子先回去，傅介子知道事情重大，霍光得考慮再三才能行動，所以也辭了霍光回去，這件事情他對誰也沒有提起，