Nằm trong địa bàn định cư của các tộc người Việt cổ từ thời tiền - sơ sử, Hương Trầm còn có tên tục gọi Kẻ Trằm, thuộc vùng hạ lưu của sông Lô nên ẩn chứa nhiều giá trị văn hoá truyền thống liên quan đến kinh đô Văn Lang xưa. Tương truyền đây là vùng trồng lúa nếp thơm, cung cấp lúa nếp cho vua, các lạc hầu, lạc tướng và nhân dân trong vùng.

Cũng chính vùng này là nơi sản sinh ra câu chuyện truyền thuyết “Sự tích bánh chưng, bánh dầy” nổi tiếng. Theo ngọc phả, đình Hương Trầm được xây dựng vào năm Nhâm Thân cuối thế kỷ XVI (Nguyên niên Hồng Phúc 1572).

 Đình Hương Trầm ở phường Dữu Lâu, thành phố Việt Trì, tỉnh Phú Thọ.

Đình có kết cấu theo kiểu chữ “Đinh”, diện tích 488,2 m², gồm ba gian đại và một gian hậu cung, mái đình lợp ngói mũi hài cổ kính, nền lát gạch vuông. Kiến trúc của đình gồm 8 cột quân gỗ, cột cái cao 4,15m, đường kính 0,40m, cột quân cao 3,1m, đường kính 0,32m, các cột đều bào trơn, đánh bóng.

Đình thuộc nhóm 9 di tích trên địa bàn thành phố Việt Trì được xây dựng vào thời Hậu Lê, trải qua đợt trùng tu lớn vào thời Nguyễn, do đó đình chính là sự bảo lưu kết hợp giữa hai nền kiến trúc nghệ thuật thời Lê và thời Nguyễn.

Lễ hội đình Hương Trầm diễn ra vào ngày mồng 5, mồng 6 tháng Giêng. Lễ có xôi, rượu, gà, lợn... dân làng tổ chức rước kiệu tưng bừng nhộn nhịp với sự tham gia của phường bát âm, đội múa lân.

Trên hai cỗ kiệu bát cống, kiệu văn đặt bài vị và mâm lễ vật gồm hoa quả, bánh chưng, bánh dày. Ngoài sân đình tổ chức hát nhà tơ, hát xoan cùng nhiều trò vui như bịt mắt đập nồi, vật, chọi gà, đánh đu. Lễ hội thu hút hàng nghìn người dân trong vùng tới tham gia.

Ngoài lễ hội chính, trong năm tại đình còn có nhiều ngày tế tiệc khác liên quan đến các vị thần được thờ và truyền thống của cư dân nông nghiệp, như ngày 15 tháng 5 âm lịch là ngày hoá của Quý Minh đại vương, ngày 25 tháng 9 âm lịch là ngày hoá của Mỵ Nương công chúa... Với những giá trị lịch sử, nghệ thuật, văn hóa to lớn cùng ý nghĩa quan trọng trong đời sống tâm linh của người dân, ngày 23 tháng 2 năm 2004, đình Hương Trầm được xếp hạng là Di tích lịch sử cấp Quốc gia.

Cùng với hệ thống di tích kiến trúc nghệ thuật liên quan đến kinh đô Văn Lang và thời đại Hùng Vương trên địa bàn thành phố Việt Trì, đình Hương Trầm sẽ phát huy vai trò quan trọng để phục vụ cho phát triển du lịch tâm linh, về với cội nguồn dân tộc.