Đình Yên Khê thờ 2 vị tướng Trần Công - Minh Công, phò trợ nhị vua Hai Bà Trưng chống giặc ngoại xâm năm 40 - 43 thế kỷ thứ nhất.
Đình Yên Khê thờ phụng 2 vị Thành Hoàng là: Khai quốc chính
Trần Đại Vương Trần Công và Phục quốc Đức
Minh Đại Vương Minh Công. Trần Công và
Minh Công là 2 anh em sinh đôi có công
triệu tập binh sĩ giúp Nhị vua Hai Bà Trưng đánh giặc, lập nhiều công lớn.
Lễ hội được mở vào ngày 9/2 đến ngày 15/2 âm lịch. Tại đình
Yên Khê rước đến Miếu Đìa đến Miếu Đại Thần rồi quay lại đình Yên Khê.
Lễ vật dâng thánh gồm
có: thị lợn luộc, gà luộc, Xôi, oản, mâm hoa quả, rượu...
Trong lễ hội diễn ra
một số trò chơi dân gian đặc sắc như: Chọi gà, cầu ô, cầu kiều, vật lầu, bắt vịt...
Cùng với nhiều loại nghệ thuật cổ truyền như: Ca trù, ả đào,
hát giao duyên/ hát đối, chèo, tuồng.
Di tích được xếp hạng năm 1988 Bộ văn hóa cấp bằng chứng nhận.
Xã có 2 làng được UBND tỉnh công nhận " Làng văn
hóa" là: Làng Yên Khê và làng Yên Trung. Xã có 01 Anh hùng liệt sỹ Phạm Ngọc
Yểng, hy sinh trong chiến tranh bảo vệ Tổ Quốc. Trong kháng chiến chống Pháp và
chống Mỹ xã có 137 liệt sỹ, 48 thương binh, 5 Bà mẹ Việt Nam anh hùng.