然而，隨著義大利海上共和國影響力的擴大，以及伊比利亞半島上從穆斯林國家向基督教國家的權力轉移，島嶼變得脆弱不堪。

1113年，一場十字軍遠征發起。

此次遠征由比薩共和國（Republic of pisa）的烏戈·達·帕拉西奧·埃布里亞科（Ugo da parlascio Ebriaco）和大主教皮埃特羅·莫里科尼（pietro moriconi）領導，遠征包括420艘船隻和一支龐大的軍隊，以及教皇帕斯卡爾二世（pope paschal II）的私人使節。

除了比薩人（pope承諾他們對這些島嶼擁有宗主權），遠征隊還包括來自佛羅倫薩、盧卡、皮斯托亞、羅馬、錫耶納和沃爾泰拉的義大利城市的部隊，以及撒丁島和科西嘉島的部隊。

來自西班牙的加泰羅尼亞軍隊由拉蒙·貝倫格爾（Ramon berenguer）、阿姆普里斯的烏戈二世（hug II of Empuries）和拉蒙·福爾克二世·德·卡多納（Ramon Folc II of cardona）領導，來自法國的奧克西塔尼軍隊由蒙彼利埃的威廉五世（william V of montpellier）、納博訥的艾梅里二世（Aimery II of Narbonne）和博克斯的雷蒙一世（Raymond I of baux）領導。

遠征還得到了羅古多羅的康斯坦丁一世（constantine I of Logudoro）和他位於波爾託託雷斯（porto torres）的基地的有力支援。

1115年，十字軍攻陷了帕爾馬（palma），並且大幅削弱了這些島嶼，結束了它們作為海上大國的時代，隨後撤退。

不到一年時間，現在分崩離析的島嶼被柏柏爾人的阿爾摩拉維德王朝（Almoravid dynasty）征服，其宗教的激進、好戰風格與十字軍相似，與科爾多瓦和塔伊法時期島嶼的寬容歷史背道而馳。

1147年，阿爾摩拉維德王朝被對手——馬拉喀什的阿爾莫哈德王朝（Almohad dynasty）在北非和伊比利亞半島上征服並推翻（安達盧斯 - 5）。

阿爾摩拉維德的繼承人穆罕默德·伊本·加尼亞（muhammad ibn Ganiya）逃亡帕爾馬，並在那裡建立了他的首都。

他的王朝——巴努·加尼亞（banu Ghaniya），在試圖從阿爾莫哈德王朝手中奪回王國時尋求盟友，允許熱那亞（Genoa）和比薩首次在島嶼上獲得商業特權。

1184年，一支遠征隊被派遣去奪回伊夫裡基亞（Ifriqiya，今突尼西亞、東阿爾及利亞和利比亞西部的沿海地區），但最終失敗。

因為害怕報復，巴利阿里群島的居民叛亂反對阿爾摩拉維德，並於1187年接受了阿爾莫哈德的宗主權。

---

1229年最後一天，阿拉貢國王詹姆斯一世（James I of Aragon）在圍城三個月後攻陷了帕爾馬。

馬略卡島其他地區很快也相繼陷落。

1232年，梅諾卡（menorca）被佔領，1235年伊比薩（Ibiza）也被佔領。

1236年，詹姆斯一世將大部分島嶼還給烏爾赫爾伯爵彼得一世（peter I, count of Urgell），以換取烏爾赫爾（Urgell），並將其併入他的王國。

彼得一世在帕爾馬統治，但他在1258年無嗣去世後，根據協議，這些島嶼歸還給了阿拉貢王國。

詹姆斯一世於1276年去世，他在遺囑中將領地分