Xã Liên Bạt tên Nôm là làng Bặt, xưa kia gồm ba cụm dân cư gốc, sau phát triển thành ba làng độc lập: Trù, Ngọ, Trung, gọi chung là ba làng Bặt. Trên các văn bản Hán Nôm hay giấy tờ hành chính cũ, các làng này tên là Liên Bạt Trù thôn, Liên Bạt Ngọ thôn, Liên Bạt Trung thôn, sau lại chia nhỏ tiếp.

Cuối thời Lê, đầu thời Nguyễn, xã Liên Bạt thuộc tổng Xà Cầu, huyện Sơn Minh, phủ Ứng Thiên, trấn Sơn Nam Thượng.

Đình Lương Xá có tuổi đời 300 năm, mặt đình giáp với con đường xuyên ngang làng. Bức tường bên tả đình xây sát con đường đi dọc qua cổng làng ra quốc lộ 21B. Đình Lương Xá từng có tam quan xây khá đẹp với nghi môn gồm 4 trụ biểu, trên bức tường hai bên cửa phụ có đắp nổi đôi voi đứng. Tòa tiền tế gồm 5 gian 2 chái và kết cấu với nhà thiêu hương, hậu cung thành hình “chữ Công”.

Đình có niên đại tầm cuối thế kỷ 17, thời Lê Trung Hưng.

Đáng tiếc thay là tháng 7 năm 2018 chính quyền địa phương cùng dân làng đã tự ý phả bỏ đình cổ thay bằng đình bê-tông! Đây là một vụ "tiêu diệt di sản" gây nhiều bức xúc trong xã hội, báo chí đã vào cuộc nhưng quá muộn.