Đền thờ vua Lê Đại Hành (còn gọi là đền Hạ) thuộc địa phận thôn Trường Yên Hạ, xã Trường Yên, huyện Hoa Lư. Đền được xây dựng trên nền cung điện Hoa Lư xưa, quay hướng đông, lấy núi Đèn làm án, cách đền thờ vua Đinh Tiên Hoàng khoảng 200m về phía Bắc.
Đền thờ vua Lê Đại Hành nhìn chung có kiến trúc gần giống như đền thờ Đinh Tiên Hoàng, cũng xây dựng theo kiểu nội công ngoại quốc, chỉ khác là đi vào đền theo cổng phía đông, có thêm từ vũ, không có ngưỡng cửa đá và những tảng đá cổ bồng tôn cao lên như đền thờ vua Đinh Tiên Hoàng. Đền Lê Đại Hành còn giữ nguyên được lối kiến trúc và điêu khắc ở thời kỳ Hậu Lê.
Đền thờ vua Lê Đại Hành cũng có ba toà: Bái đường, Thiêu hương, Chính cung. Tất cả các xà, cột, cũng được sơn son thếp vàng. Đền vua Lê Đại Hành thấp, có nhiều bức đại tự sơn son thếp vàng nên tạo cảm giác tráng lệ hơn, tối hơn và mang tính huyền ảo hơn.
Bái đường cũng có năm gian, có ba tấm biển lớn sơn son thếp vàng. Tấm biển ở gian giữa đề bốn chữ Hán: Trường Xuân Linh Tích. Tấm biển gian bên phải đề ba chữ Hán: Dương Thần Vũ. Tấm biển gian bên trái đề ba chữ Hán: Xuất Thánh Minh.
Tiếp theo Bái đường là Thiêu hương, kiến trúc theo kiểu ống muống. Trong Thiêu hương thờ tứ trụ triều Tiền Lê.
Nối với Thiêu hương là Chính cung, năm gian. Gian giữa của Chính cung trên bệ đá đặt tượng vua Lê Đại Hành, ngồi trong ngai vàng, đầu đội mũ Bình Thiên, nét mặt quắc thước. Gian bên trái tượng vua Lê Đại Hành là tượng hoàng hậu Dương Vân Nga còn gọi là tượng Bảo Quang Hoàng thái hậu. Gian bên phải tượng vua Lê Đại Hành đặt trên bệ đá tượng Lê Long Đĩnh (Lê Ngoạ Triều) là con thứ 5 của vua Lê Đại Hành và là đời vua thứ 3 của nhà Tiền Lê.
Đền thờ vua Lê Đại Hành và đền thờ vua Đinh Tiên Hoàng mãi mãi là biểu tượng cho sự tôn kính, biết ơn của nhân dân cả nước nói chung và nhân dân Ninh Bình nói riêng đối với hai ông vua đã có công lớn ở thế kỷ thứ X của dân tộc.