Lý Uyên vốn là quí tộc của vương triều Tùy, kế thừa tước vị của ông cha, nên được phong là Đường quốc công. Năm 617, Tùy Dạng Đế phái Lý Uyên đi giữ chức lưu thủ Thái Nguyên (nay là thành phố Thái Nguyên, thủ phủ tỉnh Sơn Tây) để trấn áp quân khởi nghĩa nông dân. Ban đầu, ông đánh thắng 1 số trận, nhưng quân khởi nghĩa càng ngày càng mạnh, mỗi lúc một đông thêm nên ông rất bối rối. Lý Uyên có 4 con trai, con trai thứ 2 là Lý Thế Dân, năm ấy mới 18 tuổi, là 1 thanh niên gan dạ và mưu trí, thường thích kết giao với những người có tài. Mọi người thấy Lý Thế Dân hào phóng, hiếu khách, nên ai cũng thích giao du. Lý Thế Dân thấy triều Tùy không thể kéo dài sự thống trị được nữa, nên thâm tâm từ lâu đã có dự tính hành động.

Huyện lệnh Tấn Dương (nay thuộc Thái Nguyên, Sơn Tây) là Lưu Văn Tĩnh hết sức coi trọng Lý Thế Dân; Lý Thế Dân cũng coi Lưu Văn Tĩnh là bạn tri kỷ. Lưu Văn Tĩnh lại có quan hệ thân thích với Lý Mật. Sau khi Lý Mật tham gia quân khởi nghĩa chống triều đình, Tùy Dạng Đế hạ lệnh tróc nã thân thích và bạn bè của Lý Mật. Lưu Văn Tĩnh liền bị cách chức huyện lệnh và bị giam ở nhà giam huyện Tấn Dương. Lý Thế Dân nghe tin Lưu Văn Tĩnh bị bắt giam, liền vội vã đến thăm. Lý Thế Dân cầm tay Lưu Văn Tĩnh nói: "Lưu đại ca, tôi đến thăm đại ca, không phải chỉ là tỏ tình cảm mà còn có việc muốn thỉnh giáo đại ca đấy".

Lưu Văn Tĩnh từ lâu đã hiểu rõ tâm trạng của Lý Thế Dân, liền nói: "Hiện nay hoàng đế ở mãi tận Giang Đô. Lý Mật đã áp sát Đông Đô, khắp nơi đều nổi lên làm phản. Đó là thời cơ tốt để giành thiên hạ. Tôi có thể giúp đại huynh tập hợp được mười vạn người ngựa. Và lệnh phụ (chỉ Lý Uyên) đã có trong tay mấy vạn người. Nếu dùng lực lượng đó đánh vào Trường An, ban bố hiệu lệnh cho thiên hạ, thì không tới nửa năm sẽ giành được thiên hạ".

Lý Thế Dân hết sức vui mừng, nói: "Đại ca đã nói đúng điều tôi muốn hỏi". 

Về nhà, Lý Thế Dân nghĩ tới lời Lưu Văn Tĩnh, càng nghĩ càng thấy có lý. Nhưng muốn thuyết phục cha nghe theo ý kiến đó, không phải là chuyện dễ. Vừa may lúc đó, ở phía bắc Thái Nguyên, khả hãn Đột Quyết (một dân tộc thiểu số ở miền bắc Trung Quốc) đem quân tiến công Mã Ấp. Lý Uyên đem quân chống lại, liên tiếp bị thua trận. Lý uyên hết sức lo Tùy Dạng Đế biết được việc này sẽ trừng phạt mình, nên luống cuống không biết xử trí ra sao. Lý Thế Dân nắm ngay thời cơ đó, liền khuyên cha đem quân chống lại triều đình. Lý Uyên nghe nói, hết sức run sợ, nói: "Sao con dám nói những lời phản nghịch đó. Nếu ta đi báo quan thì con sẽ bị bắt giam ngay lập tức".

Lý Thế Dân không hề sợ hãi, nói: "Cha muốn cáo giác thì cáo giác đi. Con không sợ chết đâu!".

Đương nhiên Lý Uyên không đi cáo giác, chỉ dặn Lý Thế Dân từ sau không được nói lời lẽ như thế. Hôm sau lý Thế Dân lại nói với Lý Uyên: "Cha được hoàng đế phái tới đây để dẹp loạn. Nhưng xem tình hình trước mắt, thì người làm phản càng ngày càng nhiều, ch làm sao có thể dẹp được? Thêm nữa, hoàng thượng rất hay nghi kỵ, dù cha có lập được công thì địa vị cũng bị đe dọa nghiêm trọng. Chỉ có làm như lời con nói hôm qua, thì mới có đường thoát".

Lý Uyên do dự rất lâu rồi mới thở dài nói: "Suốt đêm qua cha đã suy nghĩ về ý kiến của con, cảm thấy cũng có lý. Nhưng cha vẫn không dám quyết đoán. Thôi thì bây giờ, hoặc là nhà tan người chết, hoặc là biến nhà thành nước (ý nói chiếm được cả nước, lên làm hoàng đế) đều tùy ở con cả!".

Thế là Lý Uyên mở nhà ngục, tha Lưu Văn Tĩnh ra. Lưu Văn Tĩnh giúp Lý Thế Dân, cùng đi chiêu binh mãi mã. Lý Uyên còn gọi 2 con trai khác là Lý Kiến Thành và Lý Nguyên Cát đang đánh giặc ở Hà Đông, về tập trung ở Thái Nguyên. Hai quan chức cấp phó ở Thái Nguyên thấy hành động của cha con Lý Uyên không bình thường, muốn can ngăn lại. Lý Uyên liền lấy cớ họ câu kết với Đột Quyết, sai bắt lại và giết đi. Lý uyên còn nghe theo kế của Lưu Văn Tĩnh, phái người mang lễ vật rất hậu, đến giảng hòa với khả hãn Đột Quyết, hẹn nhau cùng chống lại triều Tùy. Khả hãn Đột Quyết thấy như vậy rất có lợi cho mình, liền nhận lời giúp đỡ Lý Uyên. Giải quyết ổn thỏa xong với Đột Quyết, Lý Uyên liền chính thức khởi binh chống Tùy. Lý Uyên tự xưng là Đại tướng quân, cử Lý Kiến Thành và Lý Thế Dân làm tả, hữu Lĩnh quân đại đô đốc, Lưu Văn Tĩnh làm tư mã, và gọi toàn thể binh sĩ là "nghĩa sĩ". Họ dẫn 3 vạn quân rời Tấn Dương, tiến về Trường An. Dọc đường tiến quân, tiếp tục chiêu mộ người ngựa, đồng thời học theo cách làm của quân khởi nghĩa nông dân, mở kho lương thực để phân phát cho dân nghèo. Nhờ thế, dân chúng tham gia vào hàng ngũ ngày càng đông.

Quân Đường (vì tước vị của Lý Uyên là Đường quốc công nên quân đội dưới quyền được gọi là Đường quân) đến Hoắc Ấp (nay ở huyện Hoắc, Sơn Tây) thì gặp phải lực lượng đánh chặn của Tống Lão Sinh, 1 viên tướng của triều đình. Đường xa ở vùng Hoắc Ấp rất chật hẹp, lại thêm mưa liền mấy ngày, việc tải lương bị gián đoạn. Trong binh lính có tin đồn xôn xao là quân Đột Quyết chuẩn bị đánh úp Tấn Dương; Lý Uyên hoang mang, muốn lui quân về Tấn Dương. Lý Thế Dân nói với cha: "Nay đang là mùa thu, ngoài đồng đầy lúa chín, lo gì không có lương thực! Tống Lão Sinh cũng không có gì đáng sợ, Chúng ta dùng danh nghĩa nghĩa binh để hiệu triệu thiên hạ, nếu không chiến đấu mà đã rút lui thì sao tránh khỏi khiến mọi người thất vọng. Nếu trở về Tấn Dương thì sẽ không còn triển vọng gì nữa".

Lý Kiến Thành cũng ủng hộ ý kiến của người em. Do đó Lý Uyên mới thay đổi ý định, không nói đến việc lui quân nữa. Một ngày tháng 8, trời vừa tạnh mưa, từ sáng sớm, quân Đường đã ven theo đường nhỏ dưới chân núi, hành quân gấp tới bên thành Hoắc Ấp. Lý Uyên phái Kiến Thành dẫn mấy chục kỵ binh tới dưới thành khiêu chiến. Tống Lão Sinh thấy quân Đường ít ỏi, liền mở toan cửa thành, dẫn 3 vạn quân ra đánh. Lý Thế Dân dẫn quân đã bố trí sẵn từ 1 ngọn núi phía nam ào ạt xông xuống chém giết. Quân mã của Tống Lão Sinh bị cắt rời tan tác. Tống Lão Sinh hoảng sợ, toan dẫn quân quay trở lại thành, nhưng thành đã bị 1 cánh quân khác của Lý Uyên chiếm mất; cửa thành bị đóng chặt. Tống Lão Sinh hết đường tiến lui, bị quân Đường giết chết. Sau khi đánh chiếm Hoắc Ấp, quân Đường tiếp tục tiến về phía tây, vượt qua Hoàng Hà với sự phối hợp của quân nông dân Quan Trung. Con gái của Lý Uyên lúc đó ở Trường An cũng chiêu mộ được hơn 1 vạn người ngựa, lập 1 đội "Nương tử quân", hưởng ứng quân Đường. 

Lý Uyên tập trung hơn 20 vạn quân đánh Trường An, quân Tùy giữ Trường An không thể chống lại được. Lý Uyên vào Trường An, liền tuyên bố 12 điều ước pháp để tranh thủ lòng dân, đồng thời phế bỏ hết mọi pháp lệnh hà khắc của vương triều Tùy. Tạm thời, Lý Uyên đưa cháu của Tùy Dạng Đế là Dương Hựu lên làm hoàng đế bù nhìn. Năm sau (618), khi có tin Tùy Dạng Đế bị giết từ Giang Đô truyền lên, Lý Uyên liền phế Dương Hựu, tự xưng là hoàng đế, đổi quốc hiệu là Đường. Đó là Đường Cao Tổ.