最初，金人进占陕州城时，让当地人做官来治理当地的人，让他们去召集老人回家，并且给这些人发一个牌子。李彦仙暗地里派去一些义军，混进城中，约定好日子，以便里应外合，攻打陕州。建炎二年（公元1128年），李彦仙率兵进攻，城里的人放起了大火，金人慌忙至城南抵抗义军的攻击。这时，义军的水军从新店出发，夜里顺流从靠近城东北的蒙泉坡中潜入城中，内外夹攻，给金人以惨重打击，终于收复了陕州。
最初，河东有人倡议抗击金兵，李彦仙为了扩大自己的势力，用了一个名叫胡夜圣的首领来帮助自己，任命他为沿河提举。胡夜圣不满足自己的地位，叛逃到了敌方，后被李彦仙设计诱杀，他的五千部众被李彦仙收编。胡夜圣的同党想为他复仇，但是在李彦仙的劝解下，他们反而投靠了李彦仙。
后来，李彦仙渡过了黄河，来到了中条山，当地老百姓听说后，起来响应。李彦仙就分派邵隆、邵云等率军攻打安邑（今山西运城东）、虞乡（今山西永济东）、芮城（今山西芮城）、正平（今山西新绛）和解州，都被顺利攻下了。蒲城在快要被攻下时，因为金人派来了强大援兵，没有攻克。李彦仙因功受到了表彰，升为安抚司公事，并让他把所获战俘押送给皇帝。宋高宗见了李彦仙以后，大加赞叹，赐给他袍带和刀剑，特别允许他直接向自己奏事，可以不向朝廷汇报紧急情况就根据具体情况自己作出决定。这时，潼关以东只有陕州还在大宋的手中，这实际上都是李彦仙的功劳。他还加紧修筑城墙，深挖护城河，扩充军队，制备军需、大力屯田，并且组织农业生产。他把家属一直都留在巩县，这时也搬到陕州，并且说：“我的父母妻子要与陕州城同存亡！”他这样做，是为了表示自己的决心，听说这件事的人都受到了感动，提高了军队的斗志。