桓溫一死，雖然說不上樹倒猢猻散，但桓氏的權勢也大為削弱。桓溫在病重時，以幼弟桓衝代領部眾，其他幾個兄弟，二弟桓雲已經故去多年，三弟桓豁在他移鎮後代為掌握荊州，四弟桓秘能謀善斷卻備受忌憚不得重用。

桓衝出生那年，正逢蘇峻之亂，桓彝死守涇縣遇害，在他的成長過程中，大十六歲的長兄桓溫，自然而然代替了他心目中父親的形象。

在桓溫一生的征戰中，桓衝通常是作為副手，領一路偏師配合作戰，北伐前秦、前燕時都是如此。

桓溫幕下謀士眾多，能獨當一面的卻屈指可數，其中早故的袁喬善謀斷，中途離去的習鑿齒長於治亂、謀身，晚於前兩者入幕的郗超則是以權謀著稱。

而形成鮮明對比的桓豁、桓秘二人，桓秘的才能得到習鑿齒認可，與之相比桓豁在個人能力上稍遜一籌，可最終被桓溫放心安排接手荊州的卻是桓豁。原因就是桓豁能拎得清自己，換言之就是沒野心、更聽話，他年輕時就曾拒絕王導闢請。

因為桓溫娶了司馬興男，與公主的母族庾氏間接成為姻親，蘇峻之亂後庾亮被迫外任，之前一度被壓制的王導再度掌權。王導闢請桓豁為秘書郎時，庾亮正謀求北伐，這種舉動一看就知道不懷好意。當時，桓溫的謀士輔國將軍司馬袁喬也被王導闢請，同樣沒去上任，隨後又受到朝命徵拜為尚書郎，直到王導死後，才被出任徐州刺史的桓溫再度延請為司馬。

桓豁在桓溫死後的短短几年裡，先後升任徵西將軍、徵西大將軍，這份堂堂正正的陽謀出自朝廷，或者說是來自王坦之、王彪之相繼死後掌控中樞的謝安，真正目的是分化桓豁和桓衝。這種計謀是明擺著的，可桓豁沒有被觸手可及的權勢所迷惑，先後兩次用拒絕開府的方式表明態度，維護了桓氏內部的團結。

在一個家庭中，長子最受重視，幼子最受寵愛，排行在中間的次子多少會有點上不著天，下不著地，關注不夠就只能自謀出路。同樣是被王導以朝命拜為秘書郎，桓秘卻答應了，這個舉動被庾氏誤解為桓氏釋放的政治訊號。桓溫娶公主後仕途一帆風順，庾氏是出了大力支援的，可因為桓秘的個人舉動，已是琅琊內史的桓溫在仕途上陷入蹉跎，直到八年後協助庾翼北伐，才外任徐州刺史成為方鎮重臣。

道安受習鑿齒之邀入襄陽前，有感於苻融勸說，決意為前秦效命，走到新野時派了同學法和入蜀。當時，自桓溫滅成漢後負責平亂，留鎮蜀郡三十年的益州刺史周撫去世，早有割據蜀地之心的司馬勳自稱梁益二州牧、成都王，在漢中起兵反叛。

時任宣城內史、輔國將軍的桓秘都督梁益二州征討軍事，江夏相朱序被桓溫表為征討都護前往成都救援周楚（周撫之子，父死後監梁益二州）。次年，鎮守荊州的桓豁也派督護桓羆進攻梁州治所南鄭協助平亂，不久後前秦王猛就趁機率軍南攻荊州，在南鄉、新野連續調動急於救援的桓豁，最後成功掠民北還。

桓溫向東移鎮之初屯駐的赭圻就在宣城郡西北，盧悚起事後桓秘被罷去中領軍一職閒居的宛陵，就是宣城的郡治。

已經進位大司馬的桓溫當時加領揚州刺史、錄尚書事移鎮姑孰，桓衝代掌江州刺史坐鎮武昌。這些都刺激著桓秘，他一心想要建立功勳，與兄弟比高下。可越是如此，桓溫越不放心桓秘外任，因為移鎮姑孰後的他需要一個安穩的後方。在司馬勳之亂平定後，桓溫乾脆以酬功為名，讓桓秘入朝為散騎常侍、中領軍，監視朝廷中樞動態，總歸是親兄弟，遠比旁人值得信任。

可越是有才能的人，往往性格上的缺陷也越明顯，桓秘迫切的想要證明自己強過桓豁、桓衝，卻迷失於功業之心，太過在意於個人的成敗，忽略了自身權勢實際來源於家族權勢的穩固。桓溫在平蜀後野心漸漸流露，但瞻前顧後直到病死也