在战前动员会议上，解潜郑重告诫诸将道：“大战在即，祸福握于自己之手。迎敌者赏及子孙，退走者诛及妻子。如立奇功，定有高爵。”解潜希望以此鼓舞士气，严明军纪。
然而，对于这些赏罚政策，三军将官们根本就听不进去，他们都在下边小声议论道：“过去，童宣抚也曾有此言。可实际上怎么样呢？明明是战死者，往往被上报说成是逃跑；而对于奔溃者，则立赏招安。今日之令，也恐怕是空话罢了。”不久，战斗打响了。
金军在南线指挥作战的将领叫完颜拔离速，是银术可的弟弟。前不久，姚古也是被他所败。刚开始，拔离速用于冲锋的金人并不很多，似乎带有试探性。但宋军对金兵很惧怕，交战不久，老毛病又犯了，前军有些官兵就不顾军令开始溃退。后军见状，人心也开始浮动。堡垒中的官兵为求自脱，纷纷抓着绳子往沟壑底处逃窜。结果混乱中坠落而死者重叠累积，几乎填满沟壑，约有几千人。
拔离速见宋军已乱，于是果断下令鸣鼓大进。金军抓住时机，将预备队也投入战斗，他们越战越勇。而宋军越来越抵挡不住，最后全线崩溃，溃不成军。连解潜所在的中军也四处溃散，他身边仅剩下数十骑亲兵，保护着他从山间小道，一路逃奔隆德府。从此，解潜所部战斗力基本丧失。
拔离速指挥金军乘胜前进，很快便兵临威胜军城下，知威胜军张尧佐不战而降。
解潜所部是正面救援太原的主力军。主力军溃败所造成的影响往往是很大的。当时，威胜军、隆德府以及汾州、晋州、泽州、绛州等地百姓闻听官军败北，纷纷扶老携幼渡过黄河，往南而奔。太原以南、黄河以北地区，州县几乎皆空。
这时，李纲仍在怀州。眼见形势在不断恶化，他很焦虑，可又无能为力。因为他无法有效行使宣抚使指挥权，无法掌控全局，他所能做的就是上奏朝廷，将自己的建议反映上去。他一方面指出节制不专之弊，另一方面，他也看出了军事部署上的缺陷。分路进兵，因各路之间缺乏协同，实际上变成了孤军深入，很容易被金人集中兵力各个击破。李纲建议立即调整军事部署，将兵马集中起来，从一个方向展开进攻。恰好这时候范世雄率领着湖南兵到达怀州，李纲推荐范世雄担任宣抚判官。李纲表示，若朝廷采纳其建议，等到大军集结完毕，他愿亲自领军开赴前线，与金人决一死战。
然而，前方战事很激烈，后方朝廷高层斗争更激烈，朝廷政局忽然发生大变。八月三日，太宰徐处仁和少宰吴敏两位宰相，被宋钦宗一并罢免。唐恪升为少宰、何栗任中书侍郎、陈过庭任尚书右丞、聂山同知枢密院事。李纲的好友许翰，被免去同知枢密院职务。
政局的突然巨变，让李纲大吃一惊。特别是将唐恪晋升为少宰，更让李纲不可思议。李纲领兵离开京城时曾特意对宋钦宗说过，唐恪是小人，不可重用。当时宋钦宗满口答应，可现在为什么又变卦了呢？李纲很不理解，很失望，心情忽然消沉起来。
徐处仁在担任太宰之前，曾在北京大名府担任留守，社会声望较高。太学生与京城百姓都认为他比较老成，性格刚廉，又富有政治经验，若让他出任宰相辅佐年轻皇上，肯定能有所作为。臣僚们对他也抱有很大的期望。然而，等他担任太宰进入决策中心之后，他并没贡献出什么嘉谋良策，人们对他很失望。
徐处仁从三月初担任太宰，到八月初正好五个月。这五个月，正是宋朝多事之时，也是宋朝扭转危局的关键时期。各地符檄如雪片般飞来，急需朝廷做出英明决断。可是，诸多复杂的政治军事外交等问题，弄得徐处仁有些晕。他虽然有从政经验，但他缺乏处理国家危难所需要的政治远见与睿智。对一系列问题的处置，要么不及时，要么出现重大失误。比如，为防金人秋天再次入侵，种师道建议集中诸道兵力屯驻在河阳一带，守住黄河防线。但徐处仁不予采纳，他认为金人既然已撤，岂能复来？不宜先自扰以示弱。其政治眼光之短浅，政治洞察力之暗弱，由此可见一斑。
徐处仁出任宰相，是吴敏向宋钦宗推荐的。吴敏觉得自己年轻，资历较浅，担心不能控制朝廷局面，于是广招贤能，大造声势。徐处仁初到朝廷时，与吴敏、李纲政见比较一致，合作还算顺利，但后来他和吴敏之间出现严重分歧。吴敏年轻气盛，风流倜傥，喜欢揽权，但处理政事经验很不足，当办事人员将各种军政文牒呈报给他请他做出批示时，他竟茫茫然不知如何裁处，只是说：“依旧例可也。”
徐处仁与吴敏之间的关系越来越糟糕，每次开会议事，二人都互相诋訾，互相拆台。吴敏曾向吏部推荐了几名官员，其中有自己的亲戚。徐处仁审查名单时，毫不客气地将吴敏亲戚的名字一笔勾掉。
这天，散朝后，吴敏气冲冲地来到东府即都堂，找徐处仁商量名单之事。吴敏刚坐下，二人交谈了没几句，就激烈争论起来。当时，徐处仁正拿着毛笔起草文件。一怒之下，他将毛笔猛地朝吴敏扔了过去，正中吴敏面额，唇鼻皆黑。
这件事很快传遍朝廷内外，影响很坏。
唐恪、耿南仲、聂山早就想将徐处仁和吴敏赶下台，由他们取而代之。这时候，他们抓住这件事不放，趁机指使御史中丞李回上奏弹劾徐处仁与吴敏。李回上奏道：
“太宰徐处仁，当初因蔡京推荐而得到重用。自金人退师，陛下以其有治理地方的才能，提拔为太宰。然而，其器局凡陋，不识大体，智识滞暗，不通时变，完全不能领导百官。少宰吴敏，其实是蔡京死党。其在相位，悉效蔡京，意在专权固宠。徐处仁与吴敏不和，致使天下之事日渐坏缺。现今，金人猖獗，重兵压境，河东之役师老粮匮，天下之忧日甚一日。徐处仁与吴敏，误国负恩，罪在不赦。伏望陛下亟罢二奸，别图任用。”