Khi Vương Thúc Văn thực hiện cải cách, không chỉ 1 số hoạn quan phản đối, mà 1 số không nhỏ đại thần thấy Vương Thúc Văn từ địa vị thấp lại dựa vào thế Thuận Tông, làm việc quá độc đoán, cũng tỏ ra bất mãn. Khi Đường Hiến Tông lên ngôi, mọi người xúm vào công kích Vương Thế Văn. 8 quan chức từng ủng hộ việc cải cách của Vương Thúc Văn, đều bị gọi là đồng đảng của ông. Vì vậy, Đường Hiến Tông hạ chiếu thư, nhất loạt giáng chức 8 người đó, thuyên chuyển họ đi nơi xa làm Tư mã. Lịch sử gọi gộp Vương Thúc Văn, Vương Phi và 8 người đó là "Nhị vương, bát tư mã". Trong 9 vị đại thần bị giáng làm tư mã đó, có 2 nhà văn nổi tiếng là Liễu Tông Nguyên và Lưu Vũ Tích. Liễu Tông Nguyên sở trường về tản văn, còn Lưu Vũ Tích sở trường về thơ. Họ là đôi bạn rất thân với nhau. Lần này, Liễu Tông Nguyên bị điều đi Vĩnh Châu (nay là Linh Lăng, Hồ Nam), Lưu Vũ Tích bị điều đi Lang CHâu (nay là Thường Đức, Hồ Nam). Vĩnh Châu là Lang Châu đều ở miền nam Trung Quốc, cách Trường An rất xa. Lúc đó 2 nơi này còn là vùng hoang vắng, lạc hậu; ở vào trường hợp này, những người khác hẳn sẽ buồn khổ, khó chịu đựng được. Nhưng 2 ông đều là những người có bản lĩnh. Họ tin rằng việc làm của mình là đứng đắn, dù có thất bại vẫn không nhụt chí. Đến nơi nhận chức mới, ngoài giờ làm việc công, họ đều đi du lãm núi sông, sáng tác thơ văn. Trong sáng tác của họ, thường thổ lộ hoài bão chính trị và phản ánh nỗi khổ của nhân dân. Bài đoản văn kiệt tác "Lời kể của người bắt rắn" của Liễu Tông Nguyên chính là được viết trong thời gian ông làm tư mã ở Vĩnh Châu.

Lần biếm trích này của 2 ông kéo dài tới 10 năm. Lâu dần, 1 số đại thần trong triều nhớ tới 2 ông, cảm thấy đẩy những người có tài như thế đi xa thì quá đáng tiếc. Họ liền tâu xin Hiến Tông, điều 2 ông trở lại Trường An, làm quan lại triều đình. Lưu Vũ Tích trở lại Trường An, thấy Trường An đã biến đổi khác xưa nhiều. Một số quan chức hiện đang giữ trọng trách đều là những người mà ông không ưa và không thể hợp tác được, nên tâm tình rất bực dọc. Trong kinh thành có 1 đạo quán (nơi thờ phụng của Đạo giáo) nổi tiếng, có tên là Huyền Đô quán, do 1 đạo sĩ trụ trì. Trong đạo quán trồng rất nhiều cây đào. Lúc đó, đang vào mùa xuân, hoa đào trong Huyền Đô quán đang nở rộ, hấp dẫn nhiều du khách tới thăm. Một số bạn bè rủ Lưu Vũ Tích đến Huyền Đô quán ngắm hoa đào. Lưu Vũ Tích thấy đến đó giải trí cũng tốt, liền nhận lời đi cùng bè bạn. 

Qua 10 năm sống trong cảnh bị biếm trích ở phương xa, nay trở lại kinh thành, thấy những cây đào non ngạo nghễ phô sắc trong Huyền Đô quán, ông liên tưởng, viết 1 bài thơ ẩn dụ:

"Tử mạch hồng trần phất diện lai

Vô nhân bất đạo khán hoa hồi

Huyền Đô quán lý đào thiên thụ

Tận thi Lưu lang khứ hậu tài".

Dịch: 

"Đường đông, bụi táp mặt người

Không ai không nói: đi chơi ngắm đào

Huyền Đô, đào mọc lắm sao!

Đều trồng sau lúc chàng Lưu xa rồi"

Thơ Lưu Vũ Tích vốn rất nổi tiếng. Bài thơ mới sáng tác được người ta truyền nhau chép rất nhanh. Một số đại thần, vốn là những kẻ hành tiến trong thời gian Lưu Vũ Tích bị biếm trích, đọc kỹ bài thơ, phát hiện thấy bài thơ tuy nói về hoa đào trong Huyền Đô quán, nhưng hàm ý châm biếm bọn quan chức mới thăng tiến. Thế là Lưu Vũ Tích gặp nhiều phiền phức. Đường Hiến Tông cũng bực bội về chuyện này. Những người vốn có cảm tình với ông và muốn giữ ông lại Trường An cũng khó nói. Lưu Vũ Tích lại bị điều đi làm thứ sử Phiên Châu (nay là Tuân Nghĩa, Quí Châu). Chức thứ sử cao hơn chức tư mã, việc điều động vội vàng này có vẻ như thăng chức, nhưng Phiên Châu càng xa xôi và hoang vắng hơn Lang Châu. Lúc bấy giờ, nơi đây dân cư rất thưa thớt. Khi đó Lưu Vũ Tích còn có mẹ già hơn 80 tuổi, cần có người chăm sóc. Vì đường xá xa xôi, hiểm trở nên cụ già như thế không thể theo Lưu Vũ Tích đến Phiên Châu. Điều này làm ông lâm vào cảnh rất khó xử. Đồng thời với Lưu Vũ Tích, Liễu Tông Nguyên cũng bị đánh bật khỏi Trường An, được điều đi làm thứ sử Liễu Châu. Được biết Lưu Vũ Tích đang lâm vào hoàn cảnh khó khăn, Liễu Tông Nguyên quyết tâm tìm cách giúp đỡ bạn. Ông thức suốt đêm viết 1 sớ tấu, xin triều đình đổi cho Lưu Vũ Tích đi Liễu Châu, và bản thân xin tình nguyện đi Phiên Châu.

Tình cảm hết lòng vì bạn của Liễu Tông Nguyên khiến rất nhiều người xúc động. Sau đó, đại thần Bùi Độ cũng trực tiếp cầu xin Đường Hiến Tông, nên Lưu Vũ Tích được đổi đi làm thứ sử Liễu Châu (nay là huyện Liên, Quảng Đông). Về sau, Lưu Vũ Tích còn bị thuyên chuyển đi nhiều đia phương khác nữa. 14 năm sau, Bùi Độ lên làm tể tướng, mới điều Lưu Vũ Tích trở lại Trường An. Khi Lưu Vũ Tích trở lại kinh thành, thời tiết đã là cuối xuân. Ông nhớ tới hoa đào ở Huyền Đô quán, liền muốn đến thăm lại. Đến nơi mới biết vị đạo sĩ trồng đào nay đã chết, đào trong đạo quán không có ai chăm sóc, cây thì bị chặt, cây thì chết khô, khắp nơi mọc đầy cỏ may và hướng dương dại, quang cảnh rất tiêu điều. Ông nhớ lại cảnh hoa đào rực rỡ ngày nào, liên tưởng tới lũ hoạn quan và quyền thần từng hãm hại ông, nay đã lần lượt thất thế trong cuộc tranh giành quyền lực. Còn bản thân ông, vẫn trước sau ngoan cường giữ vững quan điểm chính trị tiến bộ, và trải bao long đong lận đận, lại trở lại triều đình. Lòng đầy xúc cảm tự hào, ông viết 1 bài thơ mới: 

"Bách mẫu trung đinh bán thị đài

Đào hoa tịnh tận, thái hoa khai

Chủng hoa đạo sĩ qui hà xứ?

Tiền độ Lưu lang kim hựu lai."

Dịch:

"Trăm mẫu vườn hoang rêu mọc đầy

Hoa đào chẳng thấy, thấy hoa may

Trồng hoa đạo sĩ đi đâu mất?

Chàng Lưu năm nọ lại về đây!"

Một số quan chức thấy trong bài thơ mới của ông vẫn đầy giọng châm chích thì rất bực mình, đều đua nhau công kích ông trước hoàng đế. Ba năm sau, ông lại bị điều đi làm thứ sử ở nơi xa.