Nhạc Phi thắng lớn tại Chu Tiên Trấn, tiến sát Đông Kinh Ngột Truật thấy khó giữ được Đông Kinh, liền quyết định vượt Hoàng Hà, lui về bắc. Khi hắn dẫn quân Kim về Đông Kinh, thì có 1 thư sinh đứng chắn trước ngựa, nói: "Đại vương đừng đi, Nhạc Thiếu bảo (Thiếu bảo là quan tước của Nhạc Phi) sắp rút quân rồi. Đông Kinh không nguy hiểm gì nữa!".

Ngột Truật lấy làm lạ, hỏi: "Nhạc Phi chỉ huy năm trăm vạn kỵ binh, đánh bại mười vạn đội quân của ta. Dân chúng ngày đêm mong hắn đánh tới., Đông Kinh làm sao giữ được?".

Thư sinh đó nói: "Trong triều có quyền thần thì đại tướng sao có thể lập công ngoài chiến trường. Tiện nhân này thấy tính mạng của Nhạc Thiếu bảo cũng khó giữ được, chứ đừng nói tới chuyện lập công".

Ngột Truật nghe nói, bừng tỉnh, lập tức quay ngựa trở lại Đông Kinh. "Quyền thần" mà thư sinh đó nói, chính là Tần Cối, lúc đó là tể tướng trong vương triều Nam Tống. Tần Cối vốn là 1 đại thần thời Bắc Tống. Khi Tống Huy Tông, Tống Khâm Tông bị quân Kim bắt, Tần Cối và vợ là Vương thị cũng bị giải về kinh đô Kim. Tần Cối ra sức quị lụy, nịnh nọt Kim Thái Tông, được Kim Thái Tông cho là có tài năng,, liền cử làm tham mưu quân sự dưới quyền đại tướng Đại Lạt. Đến lúc này, triều Kim phát hiện thấy lực lượng chống Kim ngày càng mạnh, lại có các đại tướng Hàn Thế Trung, Nhạc Phi kiên quyết chủ trương kháng chiến, rất khó đối phó, liền quyết định thả Tần Cối về để làm tay trong. Năm 1130, Đại Lạt đánh Sở Châu (nay là Hoài An, Giang Tô), liền bố trí "cuộc trốn thoát" của Tần Cối và vợ là Vương thị trở về Nam Tống. Tần Cối tới xin gặp Tống Cao Tông ở hành cung Việt Châu, bịa ra rằng hắn đã giết lính gác ở Sở Châu, đoạt lấy thuyền trở về. Lúc đó, có rất nhiều đại thần hoài nghi, vì từ Sở Châu về Việt Châu đường xá xa xôi, sao quân Kim lại không đuổi bắt được? Thêm nữa, dù cho quân Kim trông coi sơ sài, để hắn chạy thoát, thì trong lúc vội vã như vậy, làm sao đưa được Vương thị cùng đi?

Nhưng tể tướng lúc đó là Phạm Tông Doãn, vốn là bạn cũ của Tần Cối, ra sức biện hộ giúp Tần Cối trước Tống Cao Tông, nói Tần Cối vừa đáng tin cậy, vừa là 1 nhân tài hiếm có. Tống Cao Tông xưa nay vốn ngày đêm mong muốn giảng hòa với Kim, nghe nói Tần Côi từng ở bên Kim, biết rõ nội tình của Kim, nên lập tức triệu tới. Ngay lần đầu triều kiến Tông Cao Tông, Tần Cối đã khuyên Cao Tông giảng hòa với Kim, còn dâng lên 1 thư cầu hòa do hắn dự thảo sẵn cho triều đình. Sau khi tiếp kiến Tần Cối, Tống Cao Tông thấy chủ trương của hắn hợp ý mình, liền nói với các đại thần: "Tần Cối rất mực trung thành. Có được ông ta, trẫm mừng rỡ suốt đêm không ngủ được". Ông lập tức phong Tần Cối làm Lễ bộ thượng thư, 3 tháng sau lại thăng lên làm phó tể tướng, nửa năm sau lại thăng lên làm tể tướng kiêm Khu mật sứ. Thế là Tần Cối đã nắm được đại quyền về quân sự, chính trị của Nam Tống.

Được làm tể tướng, Tần Cối liền ráo riết thực hiện hành động bán nước cầu hòa. Nhưng do gặp sự phản đối của rất nhiều đại thần, có lúc Tần Cối đã bị cách chức tể tướng. Tuy vậy, Tống Cao Tông u mê, vẫn coi Tần Cối là 1 người tâm phúc, mấy năm sau lại dùng Tần Cối làm tể tướng. Lợi dụng quyền lực và địa vị của mình, Tần Cối ra sức câu kết với triều Kim dùng trăm phương ngàn kế, phá hoại mọi hoạt động của các tướng lĩnh phe kháng chiến. Lần này, nghe tin Nhạc Phi liên tiếp thắng lợi, chuẩn bị tiến thẳng tới Hoàng Long Phủ, hắn hết sức sợ hãi. Vì triều Kim mới thực là chủ của hắn, triều Kim mà thua, thì hắn cũng không giữ được địa vị ở Nam Tống. Do đó, Tần Cối liền xúi giục Tống Cao Tông ra lệnh cho Nhạc Phi rút quân từ tiền tuyến trở về. Đột nhiên nhận được lệnh rút quân, Nhạc Phi không hiểu được đầu đuôi ra sao. Ông cử người đem sớ tấu dâng lên Cao Tông, nói: hiện nay quân Kim đã suy sụp tinh thần, còn sĩ khí quân ta đang dâng lên cao. Thắng lợi đang ở trước mắt, thì không nên bỏ lỡ. Ông thỉnh cầu Cao Tông rút bỏ lệnh rút quân, cho phép ông tiếp tục tiến quân.

Tầm Cối nhận được sớ tấu của Nhạc Phi, liền dùng thủ đoạn thâm độc: trước hết hắn ra lệnh cho các đại tướng Trương Tuấn, Lưu Quang Thế rút quân khỏi tiền tuyến Hoài Bắc, rồi nói với Cao Tông là hiện nay quân đội của Nhạc Phi ở Trung nguyên đã trở thành 1 toán cô quân, không thể tiếp tục ở lại được, xin cao Tông hạ lệnh khẩn cấp, dùng kim bài hạ lệnh Nhạc Phi rút quân về. Nhạc Phi đang nóng lòng chờ lệnh tiến quân của hoàng đế, ngờ đâu lại liên tiếp nhận được kim bài khẩn cấp hạ lệnh lui quân. Đang do dự khi nhận được kim bài thứ nhất thì ngựa trạm lại tới, từ sáng tới tối, liên tiếp có 12 đạo kim bài. Nhạc Phi biết rằng không còn hy vọng gì lay chuyển được ý định của Cao Tông, uất giận trào rơi nước mắt, nói: "Thế là công lao suốt mười năm, bỏ đi trong một buổi!".

Tin tức về Nhạc Phi sắp rút khỏi Chu Tiên Trấn được truyền xa, dân chúng vùng lân cận đều kinh hoàng, xôn xao tụ tập khắp phố phường. Họ ngăn ngựa của Nhạc Phi lại, khóc lóc: "Chúng tôi đã từng bưng bát hương, chở lương thực đến đãi tiếp quân đội triều đình. Những việc đó, người Kim đều biết rõ. Ngày nay tướng công lại rút về, thì chúng tôi chỉ còn con đường chết".

Thấy tình hình đó, Nhạc Phi không cầm được nước mắt. Ông gọi binh sĩ đem chiếu thư của Cao Tông tới cho mọi người xem, rồi nói: "Triều đình gửi kim bài khẩn cấp hạ lệnh rút quân, tôi không thể tự quyết định ở lại đây được nữa."

Dân chúng thấy không thể bắt giữ được Nhạc Phi, đều òa lên khóc. Quân sĩ cũng che mặt khóc theo. Toàn thành Chu Tiên Trấn rền vang tiếng khóc. Nhạc Phi trong lòng không nỡ, liền tuyên bố hoãn lui quân 5 ngày để cho những người tình nguyện theo quân Tống có thời gian chuẩn bị. 5 ngày sau, khi Nhạc gia quân bắt đầu rút, nhân dân địa phương họp thành từng đoàn đi theo quân đội xuống phía nam. Sau đó,  Nhạc Phi tâu lên triều đình, để số dân đó có chỗ khai hoang lập nghiệp. Ngột Truật được tin Nhạc gia quân đã rút, liền chấn chỉnh lại đội ngũ, tiến công xuống miền nam. Rất nhiều châu huyện ở Hà Nam do Nhạc Phi thu phục được, chỉ trong 1 thời gian ngắn, lại mất sạch. Tần Cối và Tống Cao Tông 1 lòng cầu hòa với Kim. Họ sợ Nhạc Phi và Hàn Thế Trung ngăn trở, liền điều 2 người về kinh, phong Hàn Thế Trung làm khu mật sứ, Nhạc Phi làm khu mật phó sứ, về danh nghĩa là thăng chức nhưng trên thực tế là tước bỏ binh quyền của họ. Tần Cối đoạt binh quyền của Nhạc Phi, xong liền cử người cầu hòa với triều Kim. Năm 1141 vào tháng 11, triều Kim cử phái đoàn đến Lâm An đưa ra những điều kiện giảng hòa. Kết quả là Tống - Kim kí kết hòa ước: phía đông lấy Hoài Hà, phía tây lấy Đại Tản Quan (nay ở tây nam Ngọc Kê, Thiểm Tây) làm ranh giới; Tống xưng thần với Kim; mỗi năm tiến cống 25 vạn lạng bạc và 25 vạn tấm lụa. Lịch sử gọi hòa ước nhục nhã này là "Thiệu Hưng hòa nghị" (Thiệu Hưng là niên hiệu của Tống Cao Tông trong thời gian 1131-1163).