消滅侯莫陳悅之後，即以原州為根據地，然後才佔有關隴。這裡東進可擊東魏、北齊、北為根據地，南下可直取巴蜀江南，又是阻止柔然南下的重要關隘。李賢為原州酋豪，其家族在當地頗有勢力，宇文泰多次“幸賢第，讓齒而坐，行鄉飲酒禮”，又“令賢乘格，備儀服，以諸侯禮相見，然後幸賢弟，歡宴終日，凡是親族，頒賜有差。”李氏一族成為關隴集團中最主要的人物，其“一門之中，為柱國者二，大將軍者三，開府者七，儀同者九，孤卿者六，方伯者十有五焉至於常侍、侍中之任，武衛、武率之職，總管、監軍之名，車騎、漂騎之號，冠蓋交錯，劍佩陸離，胡可稱矣”。

關隴集團中像李賢這樣計程車人地主還有很多很多，“世為三輔著姓”京兆杜陵人韋填、“世為西土冠冕”的敦煌人令狐整、“累世二千石蘇綽、蘇椿兄弟，而且組成關隴集團的人物並不僅僅關隴地區人，此外河東、河南大族中如裴俠、薛端、盧辯、杜等，在那君臣風雲際會之時，都為宇文泰所收攏成為關隴集團的一份子。

然而關隴貴族集團的存在並不是像現在的政黨一樣的組織，它只是當時社會中形成的一股強大的統治勢力，或者說是一個因為利益而走在一起的虛擬“組織”，所以當時這個“組織”的存在並沒有一個名稱，只是後人幫它取名為關隴貴族集團。

這個可以說是因為利益而結合的貴族集團，一開始的時候由於“領袖”宇文泰的善於撫循以及強有力的統治，關隴集團在其生前尚能精誠團結，一致對外，其間利益雖有矛盾和摩擦，但彼此間的融洽合作尚居於主導地位。但宇文泰死後，矛盾便開始發生，先後有趙貴、獨孤信謀襲宇文護（宇文泰的接班人）事，司會李植、軍司馬孫恆、宮伯乙弗鳳發動的宮廷政變未遂事件，衛王宇文直之亂等事件。

這些事件雖然很快被平息，但卻暗示了在關隴貴族政治集團內部已產生了危機，而這些危機的產生都是因為他們利益的分配。就像八大柱國之一的趙貴反宇文護，就是認為自己是開國元勳，功勳卓著，而且在宇文泰時期自己還與其平起平坐，到了宇文護執政的時候，自己反而在這個小輩之下，於是對宇文護有不平之色，就與衛國公獨孤信謀劃剷除宇文護，事到臨頭時卻因獨孤信憂蔞寡斷而取消計劃，不久此事被開府宇文盛探知，迅速告到宇文護。最後趙貴被殺，獨孤信被逼令自盡。

因為利益與矛盾的共同存在，所以他們不停的鬥爭的同時也不斷的相互妥協，只是每一次的打鬥爭與妥協都是政治權利的重新分配。於是八大柱國、十二大將軍這些家族中先後有不同的家族強盛與敗亡，像元氏家族強盛時建立西魏、宇文家族強盛時建立北周、楊忠家族強盛時建立了隋朝、後來李虎家族強盛時李淵建立了唐朝，而孤獨家族一直強盛分別在北周、隋朝、唐朝都是皇室外戚，統治著皇室**，其他家族在朝堂上和軍隊裡分別掌握著重要職權；朝廷的絕大部分權利與資源都在這些家族的控制下，他們對於朝廷的影響可以說能改變著朝廷的生死。然而這些家族對於朝廷的忠誠度是取決於誰的朝廷能給予他們更多的利益，所以在楊堅要取代北周的時候，其他關隴集團家族大部分看到宇文家族已經無法代表他們的利益了，於是這些控制著北周絕大部分統治資源的家族便果斷地放棄了宇文家族轉而支援楊堅。這些家族選擇了楊堅代表他們的利益，使得楊堅才能在短時間內取代北周。

我想聰明的楊堅在做了皇帝后肯定想到了這些家族在某一天也會像拋棄北周一樣拋棄他的王朝，為此楊堅在後來透過制定相應的政策來一步一步的分取這些家族所掌握的權利與資源。然而他的繼承人楊廣在他的這條路上比他走的更猛更快，於是那些不願放棄自己權益的家族慢慢放棄對楊隋的支援，甚至起兵叛亂。最後關隴集團一如拋棄宇文家族的北周一樣拋棄了楊