Từ rất xa xưa khi thôn Vân Côn và thôn Phú Hạng cùng thờ chung một vị thánh. Tương truyền, vị thánh này là nữ tướng của Hai Bà Trưng tên là Ả Lã Nương Đê. Sau khi cuộc khởi nghĩa của Hai Bà Trưng thất bại, vị tướng đã trẫm mình xuống dòng Hát Giang, thi thể trôi về khu vực bãi dâu xã Vân Côn, nổi lập lờ mãi ở đây rồi tiếp tục xuôi xuống thôn Phú Hạng, xã Tân Phú.

Dường như là mối duyên trời định, bà Ả Lã Nương Đê cứ quấn quýt mãi ở hai thôn này mà không trôi đi đâu khác. Từ đó, người dân hai làng lập hai quán thờ bà bên dòng sông Đáy, tôn làm Thánh mẫu. Hai làng kết nghĩa anh em với nhau từ đó và kiêng không gọi từ nước lã mà gọi nước lạnh, không gọi là đường đê mà gọi là đường cao.