Đường Huyền Tông làm thiên tử được hơn 20 năm thì nảy sinh tâm lý kiêu ngạo và lười nhác. Ông ta nghĩ rằng thiên hạ thái bình vô sự, chính sự có tể tướng lo loan, biên cương có tướng soái trấn giữ, bản thân hoàng đế hà tất phải bận lòng về quốc sự. Vì vậy, dần dần đắm mình vào cuộc sống hưởng lạc. Tể tướng Trương Cửu Linh thấy tình hình đó thì hết sức lo lắng, thường can ngăn Đường Huyền Tông. Đường Huyền Tông vốn rất tôn trọng Trương Cửu Linh, nhưng càng về sau, ông ta càng không nghe nổi những lời can ngăn thẳng thắn của Trương Cửu Linh nữa. Có 1 đại thần tên là Lý Lâm Phủ, là kẻ bất học vô thuật, hắn ta không biết ì về chính trị, học thuật và văn chương, nhưng lại rất giỏi về khoa bợ đỡ, nịnh nọt. Lý Lâm Phủ câu kết với các hoạn quan và phi tần, thám thính mọi động tĩnh ở nội cung. Vì vậy, Đường Huyền Tông hàng ngày nói những gì, ước muốn những gì, hắn đều nắm rất vững. Tới khi Đường Huyền Tông bàn bạc công việc, hắn nói năng lưu loát như nước chảy, ý kiến nào cũng trùng hợp với ý hoàng đế. Đường Huyền Tông nghe lời hắn nói, cảm thấy rất dễ chịu, cho rằng hắn vừa giỏi giang vừa biết vâng lời, chứ không cố chấp như Trương Cửu Linh.

Đường Huyền Tông muốn thăng Lý Lâm Phủ lên làm tể tướng, liền đề xuất ý kiến đó với Trương Cửu Linh. Trương Cửu Linh biết rõ bản chất của Lý Lâm Phủ, liền nói thẳng: "Ngôi tể tướng có quan hệ đến sự an nguy của quốc gia. Bệ hạ định dùng Lý Lâm Phủ làm tể tướng thì e rằng đất nước sau này sẽ gặp phải tai họa".

Lời đó đến tai Lý Lâm Phủ, hắn căm giận Trương Cửu Linh đến bầm gan tím ruột. Một viên tướng ở Sóc Phương (trị sở ở Linh Vũ, Ninh Hạ ngày nay) tên là Ngưu Tiên Khách, 1 chữ bẻ đôi cũng không biết, nhưng lại rất giỏi về cách xoay tiền. Đường Huyền Tông muốn thăng quan cho Ngưu Tiên Khách, Trương Cửu Linh không đồng ý. Lý Lâm Phủ liền nói với Đường Huyền Tông: "Người như Ngưu Tiên Khách, có tài làm được đến tể tướng, còn Trương Cửu Lương chỉ là một anh mọt sách, không hiểu được đại sự!".

Sau đó, Đường Huyền Tông lại bàn với Trương Cửu Linh về việc thăng chức cho Ngưu Tiên Khách, nhưng Trương Cửu Linh vẫn không đồng ý. Đường Huyền Tông nổi giận, nghiêm giọng nói: "Lẽ nào việc gì cũng phải theo ý khanh hay sao?".

Từ đó, càng ngày Đường Huyền Tông càng chán ghét Trương Cửu Linh, lại thêm có lời gièm pha của Lý Lâm Phủ nên cuối cùng, ông đã quyết định cách chức Trương Cửu Linh và đưa Lý Lâm Phủ lên thay. Lý Lâm Phủ lên làm tể tướng, việc làm đầu tiên là chặn mọi đường dây liên hệ giữa Đường Huyền Tông với các triều thần, không để ai có thể trực tiếp gặp thiên tử. Một lần, hắn triệu tập các gián quan lại và công khai tuyên bố: "Hiện nay, hoàng thượng thánh minh, kẻ thần hạ như chúng ta chỉ cần làm theo ý của người, không cần mồm năm miệng mười làm rác tai hoàng thượng. Các ông có thấy đàn ngựa "lập trượng" không? (ngựa lập trượng: loại ngựa có tư thế oai vệ, chuyên được huấn luyện để đứng dàn hàng 2 bên lối vào hoàng cung). Chúng được hưởng sự đã ngộ tương đương chức gián quan tam phẩm. Nhưng nếu có con nào bất chợt hí lên, là bị loại ngay, có hối cũng không kịp".

Có 1 gián quan không chịu làm theo lời Lý Lâm Phủ, ông dâng lên Đường Huyền Tông 1 bản kiến nghị. Lập tức ngày hôm sau, ông ta bị giáng chức, điều đi tỉnh xa làm huyện lệnh. Mọi người đều biết đó là do ý kiến của Lý Lâm Phủ, nên sau đó không ai còn dám can ngăn Đường Huyền Tông nữa. Lý Lâm Phủ có tiếng xấu trong các quan chức trong triều, nên tìm mọi cách để bài xích những ai giỏi hơn mình. Muốn bài xích ai, hắn không bao giờ lộ ra nét mặt mà luôn tươi cười, nhưng chơi trò bắn lén sau lưng. Một lần, Đường Huyền Tông đứng trên lầu điện Cần Chính, hé rèm nhìn xuống thấy 1 võ tướng  phóng ngựa đi qua phía dưới, nhận ra đó là Bình bộ thị lang Lưu Huyến. Đường Huyền Tông thấy Lưu Huyến có phong độ hùng dũng, liền thuận miệng khen mấy câu. Hôm sau, Lý Lâm Phủ nghe biết chuyện, liền giáng chức Lưu Huyến xuống làm thứ sử Hoa Châu. Lưu Huyến vừa nhận chức được ít lâu, lại bị gièm pha là không đủ sức khỏe, không đảm đương nổi nhiệm vụ, bị giáng chức 1 lần nữa. Một quan chức khác là Nghiêm Đỉnh Chi, bị Lý Lâm Phủ gạt ra khỏi triều đình, xuống làm thứ sử nơi xa. Sau đó, 1 hôm Đường Huyền Tông hỏi Lý Lâm Phủ: "Nghiêm Đỉnh Chi bây giờ ở đâu nhỉ? Con người đó rất có tài, nên trọng dụng".

Lý Lâm Phủ nói: "Bệ hạ đã nhớ tới ông ấy, thì để thần đi hỏi xem sao?".

Sau khi thoái triều, Lý Lâm Phủ vội cho gọi người em của Nghiêm Đỉnh Chi tới hỏi: "Lệnh huynh rất muốn về kinh gặp hoàng thượng phải không? Ta có một biện pháp giúp thực hiện ý nguyện đó".

Người em của Nghiêm Đỉnh Chi thấy Lý Lâm Phủ quan tâm đến anh mình như thế thì rất cảm động, vội hỏi xem nên làm như thế nào. Lý Lâm Phủ nói: "Ông nói với lệnh huynh gửi một sớ tấu về triều, nói là bị bệnh, xin về kinh chữa bệnh, ta sẽ tâu xin với hoàng thượng cho".

Nghiêm Đỉnh Chi nhận được thư em, liền dâng sớ xin về kinh chữa bệnh. Lý Lâm Phủ cầm sớ tấu vào gặp Đường Huyền Tông nói: "Thật là đáng tiếc, hiện nay Nghiêm Đỉnh Chi đang lâm trọng bệnh, không thể đảm đương việc lớn được". Đường Huyền Tông than tiếc thở dài rồi cho qua.

Những người mắc lừa như Nghiêm Đỉnh Chi có khá nhiều. Nhưng dù Lý Lâm Phủ có che giấu khéo thế nào, thì âm mưu quỷ kế của hắn cuối cùng cũng bị người ta phát hiện. Mọi người đều gọi Lý Lâm Phủ là kẻ "bề ngoài thơn thớt nói cười, mà trong nham hiểm giết người không dao". Lý Lâm Phủ làm tể tướng trong 19 năm, biết bao đại thần chính trực, có tài năng bị bài xích, biết bao kẻ tiểu nhân giỏi bợ đỡ, nịnh nọt đã được thăng quan tiến chức. Chính trong thời kì này, triều Đường đã trượt dài từ đỉnh cao hưng thịnh xuống bờ dốc suy vi. Cảnh tượng phồn vinh dưới thời Khai Nguyên không còn nữa. Chỉ ít lâu sau, bắt đầu xuất hiện cảnh loạn lạc thời Thiên Bảo (Thiên Bảo chi loạn - Từ năm 742, Đường Huyền Tông bỏ niên hiệu Khai Nguyên và đổi sang niên hiệu Thiên Bảo).