兀术经此人提醒后，决定暂不过河。而秦桧也早在暗中策划岳飞撤军的事了。他们谋划的重要步骤是，让张俊从退还，命令稳守淮东，不得继续前进，驻屯顺昌的远调江南太平州等等。所有这些，都是为了置岳飞于侧面受敌、孤军无援的境地。就在捷报报上朝廷的时刻，秦桧串通、，策动并唆使谏官罗汝楫向赵构上疏，说：“兵微将少，民困国乏，岳某若深入，岂不危也。愿陛下降诏，且令班师。”赵构遂降诏，令岳飞班师。

七月十八日，即张宪从杀向开封之时，宋廷传来班师诏。岳飞鉴于当时完胜的战局，上书争辩，大略为：“契勘金虏重兵尽聚东京，屡经败衄，锐气沮丧，内外震骇。闻之谍者，虏欲弃其辎重，疾走渡河。况今豪杰向风，士卒用命，天时人事，强弱已见，功及垂成，时不再来，机难轻失。臣日夜料之熟矣，惟陛下图之。 [179]  ”

隔了两三日，大军先锋已进抵，完颜兀术已逃出开封之时，岳飞却在一天之内接连收到十二道用递发的班师诏，诏旨措辞严峻：命大军即刻班师，岳飞本人去朝见。据学者考证，高宗发十二道金牌的时间，大约是在七月十日左右，即他得到七月二日克复捷报不久。 [180] 

岳飞接到如此荒唐的命令，愤惋泣下：“十年之力，废于一旦！ [181]矣。”岳飞无奈，含泪取诏书出示众人，说：“吾不得擅留。”于是哭声震野。大军撤至蔡州时，当地人民要求与部队一起行动，岳飞最终决定留军五日，以掩护当地百姓迁移襄汉。 [182]  大军班师鄂州，岳飞则往临安朝见。北方忠义军孤掌难鸣，兀术回到开封，整军弹压，又攻取了被宋军收复的河南地区。岳飞在班师途中得知噩耗，不由仰天悲叹：“所得诸郡，一旦都休！社稷江山，难以中兴！乾坤世界，无由再复！ [48]  ”

岳飞回到行朝，不再像以往慷慨陈词，只是再三恳请朝廷解除其军职，归田而居。赵构以“未有息戈之期 [183]  ”为由不许。

绍兴十一年（1141年）正月，完颜兀术再度领军南下。二月，岳飞领兵第三次驰援淮西。这也是他最后一次参与抗金战斗。