Theo “Lịch sử Đảng bộ xã Quảng Nghĩa”, làng Bầu (thôn 1 ngày nay) là một vùng đất ven biển đã hình thành từ lâu đời. Cách đây khoảng gần 400 năm, các ông tổ của các dòng họ Đỗ từ Thanh Hoá, họ Phạm từ Hải Phòng, họ Nguyễn từ Hải Dương, họ Hoàng từ Lạng Sơn đã đến định cư tại các xã ven biển vùng Hà Cối, Đầm Hà, Móng Cái. Những cư dân đầu tiên của làng đến định cư đã lập đình thờ thành hoàng làng và phối thờ các vị tiên công mở đất.

Đình làng Bầu còn có tên gọi là đình Hạ Quất Đoài, hay đình Nhan Bầu gọi theo tên cổ của làng được khởi dựng từ năm Bính Thân (1775). Cụ Phạm Văn Thạch, thủ từ của đình, cho biết: Trước kia đình được xây dựng bằng gỗ rất đẹp. Năm 1945, tàu chiến của Nhật bắn phá làm đình hỏng nặng. Sau này, đình được xây lại gồm 3 gian tiền đường và 3 gian trung đường. Đình được xây móng bằng đá, tường bằng gạch đặc, mái lợp ngói âm dương. Năm 1956, đình được tu bổ lại và xây thêm hậu cung như hiện nay. Đình có diện tích 79,2m² gồm 3 gian tiền đường rộng 51m² và 1 gian hậu cung rộng 29m2. Tiền đường hai hồi bít đốc, đắp nóc, mái lợp ngói âm dương, mái hiên ở giữa có cuốn thư. Gần đây, đình được sửa chữa, tu bổ nhiều lần vào các năm 1997, 2006 và 2008.

Đình làng Bầu phối thờ thần Cao Sơn đại vương tôn thần, Hưng Đạo Đại vương, Thuỷ Chung Quảng tế chi thần. Đình còn thờ các nhân thần là cụ tổ của 5 dòng họ Đỗ, Phạm, Nguyễn, Hoàng, Bùi (trong đó có 3 người còn rõ danh tính là cụ Đỗ Quý Công, cụ Phạm Pháp Đình, cụ Nguyễn Pháp Công) đều là những người có công lao trong việc khai khẩn đất đai lập lên làng Bầu xưa. Nhân dân làng Bầu còn xin chân hương ở bát hương các anh hùng dân tộc Trần Quốc Tảng, Phạm Ngũ Lão, Lê Đức Di của đền Côn Sơn (TX Chí Linh, tỉnh Hải Dương), đền Cửa Ông (TP Cẩm Phả) về thờ trong đình.

Đình làng Bầu là nơi diễn ra và chứng kiến những sự kiện lịch sử của địa phương trong hai cuộc kháng chiến bảo vệ Tổ quốc. Thời kháng chiến chống Pháp, đình là trụ sở của chính quyền cách mạng của xã, nơi hội họp của các cán bộ công tác ở các huyện miền duyên hải như: Móng Cái, Hà Cối, Đầm Hà, Tiên Yên; nơi cất giấu lương thực, thực phẩm để ủng hộ kháng chiến, là nơi đón tiếp và nghỉ chân của các đoàn dân công hoả tuyến đi phục vụ các chiến dịch. Đình làng Bầu cũng là địa điểm chứng kiến lời tuyên thệ và tiễn đưa 171 người con của làng lên đường làm nhiệm vụ bảo vệ Tổ quốc. Trong số đó không ít người đã hy sinh.

Lễ hội đình làng Bầu được tổ chức từ ngày 16 đến 18 tháng Giêng. Phần Lễ gồm: Lễ cáo yết, lễ nghênh thần, rước thần về đình, lễ an vị thành hoàng (nhập thần), lễ dâng hương, lễ tế thành hoàng, lễ cầu ngư và lễ tống thần. Phần Hội có hát, múa cửa đình (hát nhà tơ, múa hương, múa hoa, múa dâng đèn), mừng thần, mừng dân, ca ngợi thần, ước nguyện của nhân dân; các cụ cao niên hát bổng, hát đối; trai thanh, gái lịch thì hát các làn điệu dân ca như: Trống quân, sa mạc, và tham gia nhiều trò chơi dân gian như: Kéo co, đẩy gậy, nhảy bao bố, đấu vật, đi cầu thùm, tổ tôm điếm v.v..

Đình làng Bầu đã được xếp hạng di tích lịch sử cấp tỉnh năm 2012. Ông Lương Tiến Dũng, Bí thư Đảng uỷ, Chủ tịch UBND xã, cho biết: Chúng tôi sẽ hỗ trợ phát triển hoạt động của CLB Hát Nhà tơ, hát - múa cửa đình của xã gắn kết với hoạt động lễ hội đình làng Bầu. Việc tổ chức lễ hội, giữ gìn và phát huy hát nhà tơ, hát - múa cửa đình, phát triển bản sắc văn hoá sẽ tạo thêm động lực để phát triển kinh tế - xã hội cho địa phương.