劾李綱不知用兵之術，結果得罪了當時與李綱交情頗深的秦檜。秦檜當時雖然還不是後世的奸臣，但依然是個心胸狹窄的人。

頓時，身為小小承節郎的李彥仙遭到有司追捕，不得不易名逃匿。這年，金兵佔領了河東，李彥仙為報效國家，再度從軍。

河東失陷後，李彥仙前往陝州拜見守將李彌大。李彌大請教西北防務，他中肯建議，詳盡回答，被留為裨將，駐守觳澠之間。

此時，金兵又犯汴京，永興軍帥範致虛統帥六路大軍增援。開拔前，李彥仙建議道：“觳澠是險要關隘，難以駐軍，前進後退都容易導致軍隊潰散。應分道並進，尋找時機出關。還應當以一半軍兵扼守陝西，才可進一步採取行動。”

但是範致虛剛愎自用，不聽李彥仙勸告。反而責怪李彥仙貪生怕死，沮喪軍心，將李彥仙革職調離。範致虛進兵到千秋鎮，果然被金兵打得措手不及，全線潰敗，士卒逃散。

建炎元年四月，金兵進犯陝州，經制使王燮抵擋不住，率部逃跑。這時，李彥仙以石壕尉身份堅守三嘴山，父老鄉親紛紛投靠，他妥善安置老弱病殘，選拔丁壯補充士卒。

不久，金兵主力進攻李彥仙部。有一兇悍金將站在山寨前高聲罵陣，李彥仙抖擻神，單槍匹馬衝下山寨，以迅雷不及掩耳之勢將其生擒活捉，挾回山上，兩軍看得目瞪口呆。李彥仙巧施計謀，先派部分精兵埋伏，後同金兵正面廝殺，雙方拼鬥正酣時，伏兵突從金兵背後掩殺過來，金兵猝不及防，大亂潰逃。

李彥仙率部乘勝追殺萬餘人，奪取戰馬300匹，一戰成名。訊息傳出，開封、洛陽一帶群眾爭相投靠，隊伍迅速擴大。李彥仙接著兵分四路，接連攻下金人50餘座營壘。

金兵進佔陝州城時，讓降順頃者和未逃散計程車卒駐守，李彥仙暗派兵士混入其中，並約定時日，內應外合攻打陝州城。建炎二年三月，李彥仙率兵攻打陝州南門，城中弟兄放起大火，金兵慌忙退到南城抵抗。這時，李彥仙預伏的水軍從城東北潛入，與城外軍隊呼應夾擊，金兵棄城逃散，陝州城光復。

隨後，李彥仙乘勝渡過黃河，在中條山安營紮寨，附近的百姓紛紛前來歸附。李彥仙為了配合信王趙榛的行動，隨即派邵隆、邵雲等率軍攻打安邑、虞鄉、芮城、正平和解州接連告捷。

得知李彥仙的戰績，當時還不知道李彥仙已經與信王趙榛聯絡配合的皇帝趙構，對輔臣說：“知李彥仙與金人戰，再三獲捷，朕喜而不寐。”隨後授李彥仙陝州知州兼安撫使，升武節郎、閣門宣贊舍人，並賜他袍帶、槍劍。

李彥仙加緊修築城牆，深挖護城河，擴充軍備，大力屯田。並將全家搬到陝州，表示要“以家殉國、與城俱存亡。”神稷山義軍首領邵興率眾來歸，李彥仙命令他屯守山門，後邵興拼死抗金，收復虢州。

建炎二年夏，李彥仙在陝州城下與西路剿匪大帥完顏昱部下的金軍大戰三天，金兵死傷慘重，愴惶撤離。

不過，對於擊敗李彥仙部，金軍賊心不死。這次，金軍不在發動光明正大的戰術，而是採取偷襲的方法了。

此時，李彥仙大營依舊是漆黑一片，靜的可怕。突然，李彥仙軍營西面點起了繁星一般多的火把，原來都是金兵。很多金兵高舉火把，殺了進來，將火把紛紛投到營帳上，軍營頓時成為一片火海。不過，卻沒有金軍兵將們想象中的宋兵慘叫聲。

金軍將軍猛地意識到不好，大聲叫道：“快撤，有埋伏！”

這時，兩邊山上忽然出現數千支火把，只見李彥仙站在最高處，滿臉笑容的看著下面驚恐的金兵，喊道：“放箭！”

頓時箭雨紛紛，瞬�