Trải qua nhiều thăng trầm lịch sử, có những lúc bị phá huỷ rồi phục dựng, sửa chữa, đến nay ngôi đền vẫn giữ được nét cổ kính rêu phong. Không ai biết chính xác ngôi đền có từ bao giờ, chỉ biết rằng từ lúc có hai cây đa lông thì đã có ngôi đền rồi. Mà tuổi của hai cây đa thì cũng đã ngàn năm và được công nhận là cây di sản Việt Nam. Theo các chuyên gia, đây là hai trong số những cây cổ thụ hùng vĩ, hiếm có vào loại bậc nhất Việt Nam hiện nay. Gốc đa lớn hàng chục người ôm không xuể, rễ từ cành nhánh to tựa cột đình. Người dân nơi đây vẫn thường gọi là cây ông cây bà.