Theo sử sách thì xưa kia đền Cửa Ông chỉ là một am cỏ dựng dưới gốc cây cổ thụ, bên Cửa Suốt. Thế nhưng ngay từ thuở ấy, đền đã có tiếng là linh thiêng, thu hút khách thập phương đến thắp hương bày tỏ lòng biết ơn người đã có công giữ yên bờ cõi trước quân xâm lược Nguyên - Mông. Đền còn được biết đến là nơi duy nhất thờ đầy đủ gia thất của Hưng Đạo Vương Trần Quốc Tuấn và các cận thần của ông còn lại đến ngày nay với 34 pho tượng lớn nhỏ được chạm trổ công phu tỉ mỉ, có giá trị nghệ thuật cao. Cấu trúc ngôi đền cũng rất độc đáo và tương đối đồ sộ theo lối chữ Tam với Đền Hạ, Đền Trung và Đền Thượng tạo thành một quần thể kiến trúc hình chân vạc. Từ chân Đền, bước theo những bậc tam cấp vững chãi, đặt chân đến tam quan đền Thượng, ngoài thắp nén nhang cầu an, chắc chắn không có du khách nào bỏ qua cơ hội chiêm ngưỡng toàn cảnh Vịnh Bái Tử Long với nhiều hòn đảo lớn nhỏ, bao la trên một nền trời xanh tít tắp. Cảnh quan kỳ vĩ này thật hiếm có ngôi đền nào có được.

Đền Cửa Ông không chỉ hút khách bởi sự linh thiêng mà còn bởi khi mùa xuân về, nơi đây lại mở hội với nhiều hoạt động văn hoá phong phú. Bắt đầu là lễ dâng hương, sau đó là lễ rước. Nhân dân làm lễ rước bài vị Hưng Nhượng Vương Trần Quốc Tảng từ đền ra Miếu (tương truyền xưa là vườn nhãn, nơi Đức Ông hoá) ở xã Trác Chân rồi lại rước về đền. Lễ rước bài vị này mô phỏng những cuộc tuần du bảo vệ bờ cõi vùng biển Đông Bắc của Hưng Nhượng Vương - mang ý nghĩa ghi nhớ công đức của ngài trong sự nghiệp bảo vệ biên cương tổ quốc. Trong những ngày diễn ra lễ hội còn có hoạt động văn hoá như múa rồng, thi soạn dâng lễ vật lên Đức Ông, nấu cơm, têm trầu, bày mâm quả, cùng với những trò chơi dân gian như cờ bỏi, bịt mắt đập niêu, kéo co, đẩy gậy.

Một điều đáng ghi nhận là công tác quản lý lễ hội nhiều năm qua tại đền Cửa Ông được thực hiện rất tốt. Mặc dù mỗi dịp lễ hội, ngôi đền này có thể tiếp đón đến hàng vạn lượt khách tới tham quan, vãn cảnh, tuy nhiên tình hình an ninh trật tự luôn được đảm bảo tối đa. Các hành vi lợi dụng lễ hội để tăng giá dịch vụ, chèn ép khách được xử lý nghiêm túc.

Được biết, để tạo thuận lợi cho du khách đến lễ đền và dự hội, trong 3 năm trở lại đây, TX Cẩm Phả đã đầu tư gần 4 tỷ đồng để tôn tạo và nâng cấp, xây dựng mới nhiều hạng mục tại đây. Theo đó, thị xã đã quy hoạch lại nơi bán hàng ở bên ngoài và trong khu vực đền, ra quy định về việc giữ gìn an ninh, vệ sinh để giữ trật tự và mỹ quan. Bên cạnh đó, Ban Tổ chức lễ hội đã có kế hoạch cụ thể để tổ chức phần lễ và phần hội hoành tráng, sát với lịch sử hơn và có nhiều hoạt động phong phú hơn.