Đình Yên Khê thờ phụng 2 vị Thành Hoàng là: Khai quốc chính Trần Đại Vương  Trần Công và Phục quốc Đức Minh Đại Vương  Minh Công. Trần Công và Minh Công  là 2 anh em sinh đôi có công triệu tập binh sĩ giúp Nhị vua Hai Bà Trưng đánh giặc, lập nhiều công lớn.

 Đình Yên Khê

Lễ hội được mở vào ngày 9/2 đến ngày 15/2 âm lịch. Tại đình Yên Khê rước đến Miếu Đìa đến Miếu Đại Thần rồi quay lại đình Yên Khê.

 Lễ vật dâng thánh gồm có: thị lợn luộc, gà luộc, Xôi, oản, mâm hoa quả, rượu...

 Trong lễ hội diễn ra một số trò chơi dân gian đặc sắc như: Chọi gà, cầu ô, cầu kiều, vật lầu, bắt vịt...

Cùng với nhiều loại nghệ thuật cổ truyền như: Ca trù, ả đào, hát giao duyên/ hát đối, chèo, tuồng.

Di tích được xếp hạng năm 1988 Bộ văn hóa cấp bằng chứng nhận.

Xã có 2 làng được  UBND tỉnh công nhận " Làng văn hóa" là: Làng Yên Khê và làng Yên Trung. Xã có 01 Anh hùng liệt sỹ Phạm Ngọc Yểng, hy sinh trong chiến tranh bảo vệ Tổ Quốc. Trong kháng chiến chống Pháp và chống Mỹ xã có 137 liệt sỹ, 48 thương binh, 5 Bà mẹ Việt Nam anh hùng.