Đây là công trình, kiến trúc cộng cộng của nhiều làng. Đình thờ Cao Sơn tôn thần là thần - tướng tài giỏi thời Hùng Vương đã có công dạy dân trị thủy, khai hoang lấn biển để xây dựng quê hương đất nước. Nhớ ơn những người có công, cư dân làng Bùi từ xưa đã tôn ngài làm Thành hoàng thờ tại đình. Các triều đại phong kiến đều có sắc phong thượng đẳng thần cho tôn thần.

 Năm 1881 cư dân làng Bùi lại được triều đình ban sắc phong cho khắc bia, lập thần vị thờ trụ quốc Vũ Huân tướng quân thần Vũ Xương Trung hầu Nguyễn Xuân Mậu - một danh nhân của địa phương để thờ.

 Đình được khởi dựng vào cuối xuân năm Tân Tị (1861) đời vua Tự Đức, kiến trúc đình 5 gian, mái lợp ngói mũi, tường xây bao, kết cấu 6 vì gỗ.

 Trải qua thời gian, các mảng chạm khắc bị mất và mối mọt, phần mái bị hư hỏng dột nát. Năm 2009, được sự quan tâm của chính quyền địa phương, đóng góp của du khách và bà con sống xa quê hương, đình được trùng tu tu phần mái, lát lại phần nền, xây sân tường bao. Những phần cấu kiện chạm khắc trước đây bị mối mạt, mất đã được trùng tu mô phỏng nguyên gốc.

 Qua nhiều lần tu sửa, đình làng Bùi vẫn giữ được nét kiến trúc xưa. Độc đáo ở đình là bộ xà ngạch gồm 5 chiếc đều làm bằng đá nguyên khối. Xà ngạch được đục công phu, nhẵn nhụi, bậc trong đục lỗ tròn để lắp cửa. Hệ thống cột hiên đều được làm bằng đá nguyên khối, thềm hè được bó nền bằng đá xanh...

Nằm ngay phía sau đình là chùa Thông Tự (chùa làng Bùi). Theo văn bia tôn tạo đặt tại sân chùa thì chùa có từ lâu, là ngôi chùa chung của nhiều làng. Trước kia các đồ phật pháp và các tòa phật điện đều đầy đủ. Trận bom của thực dân Pháp đánh vào gần chùa năm 1949 đã làm chùa sụp đổ, các đồ thờ và tam bảo phật hỏng nát gần như toàn bộ.

Năm 1995 theo nguyện vọng của Nhân dân, chính quyền địa ph­ương quyết định xây dựng lại ngôi chùa nh­ư hiện nay. Vào các ngày tuần mọi người đều đến chùa để dâng hương niệm phật, cầu an.

Năm 2001 đình - chùa làng Bùi đã được công nhận di tích lịch sử lịch sử văn hóa cấp tỉnh.

Thu Thủy