Ông được "Việt sử tân biên" liệt vào danh sách "Giao Châu thất hùng", tức 7 anh hùng Giao Châu thời bấy giờ gồm: Đinh Bộ Lĩnh, Đinh Liễn, Lê Hoàn, Đinh Điền, Nguyễn Bặc, Phạm Hạp và Phạm Cự Lượng.

Tướng Phạm Hạp sinh ra trong một gia đình có truyền thống võ nghệ. Ông nội là Phạm Lệnh Công, giữ chức Đông giáp tướng quân đời Ngô Quyền. Cha là Phạm Mạn, làm tham chính đô đốc đời Ngô Nam Tấn vương Ngô Xương Văn, mẹ là Trần Thị Hồng. Ông bà có tám người con, 5 trai, 3 gái đều hiển đạt.

Ngay từ nhỏ Phạm Hạp đã tỏ rõ tư chất thông minh, có chí lớn, văn võ đều thấu hiểu. Ông thường cùng em trai là Phạm Cự Lạng đem tiền của chiêu dụ mọi người, mua ngựa luyện quân.

Sự nghiệp phò giúp nhà Đinh

Khi Đinh Bộ Lĩnh dấy binh dẹp loạn 12 sứ quân, Phạm Hạp cùng em trai đem hơn 2000 người, ngựa từ quê đến Hoa Lư phò Đinh Bộ Lĩnh. Đinh Bộ Lĩnh đã thu nhận và đều phong hai anh em ông làm tướng tiên phong đi dẹp loạn. Đức ông Phạm Hạp được phong Tả tướng tham mưu. Chiến công lớn nhất của Phạm Hạp chính là người đánh bại và chém chết sứ quân Nguyễn Khoan ở Tam Đái.

Năm Mậu Thìn (968), dẹp xong loạn 12 sứ quân, vua Đinh Bộ Lĩnh lên ngôi Hoàng đế, tức là Đinh Tiên Hoàng Đế, đặt Quốc hiệu là Đại Cồ Việt, đóng đô ở Hoa Lư. Phạm Hạp được phong chức quan Vệ Úy, là quan thân cận của vua.

Tận trung với nhà Đinh

Năm 979, vua Đinh và Nam Việt vương Liễn bị sát hại, Vệ vương Đinh Toàn mới 6 tuổi được lập lên ngôi. Các đại thần Đinh Điền, Nguyễn Bặc và Phạm Hạp thấy uy quyền của Phó vương Lê Hoàn quá lớn bèn khởi binh chống Lê Hoàn nhưng cả ba tướng nhanh chóng bị Lê Hoàn dẹp tan.

Trong danh sách các tướng nhà Đinh có tới 25 vị tướng là các đại thần tận trung với nhà Đinh, phản đổi việc Lê Hoàn đoạt ngôi nhà Đinh là: Đinh Điền, Đinh Sài Bơi, Đỗ Quang, Đỗ Huy, Lý Phả, Lý Hoằng, Lý Quảng, Nguyễn Bặc, Phạm Hạp, Trình Minh, Trịnh Tú, Lưu Lang, Lý Đài, Lý Trâu, Lý Quốc, Lương Tuấn, Võ Trung và 8 vị quan trung thần ở phủ Khống Tràng An.

Phạm Hạp bị Lê Hoàn xử tử. Tuy vậy, em trai ông là Phạm Cự Lạng vẫn được Lê Hoàn tin dùng làm tướng dưới quyền.

Danh tướng Phạm Hạp được lập đền thờ ở thôn Đông Thái, xã Lê Hồ, huyện Kim Bảng, tỉnh Hà Nam.

 Xã Lê Hồ, nơi thờ phụng danh tướng Phạm Hạp

Theo thần tích làng Cao Mật, nơi có đền thờ Phạm Hạp, Ông sinh ngày 20 tháng 7, hoá ngày 30 tháng chạp. Quê ở xã Cát Lợi, tỉnh Bắc Ninh, có công giúp vua Đinh Tiên Hoàng dẹp yên loạn thập nhị sứ quân (12 sứ quân).

Khi đất nước thanh bình, ông được giao về lập ấp ở xã Cao Mật, được hưởng lộc từ số thuế thu được ở huyện Kim Bảng. Sau khi qua đời, nhân dân thương tiếc lập đền thờ. Khi Trần Nhân Tông đi đánh giặc Nguyên, qua đền thờ Phạm Hạp, vào làm lễ cầu đảo, được âm phù thắng trận.

Thắng trận trở về, nhà vua phong cho thần 6 chữ Linh ứng bảo quốc cư sĩ. Vua Lê Thái Tổ phong 6 chữ Tô đàm Đại liêu Hồng ân. Năm 1880, vua Tự Đức chuẩn cho dân làng thờ cúng như cũ. Ngài được ban sắc phong của các triều vua Tự Đức năm 1853, Đồng Khánh năm 1887, Duy Tân năm 1909, Khải Định năm 1924. Dân làng có lệ kiêng huý chữ Hạp, hàng năm dân làng tổ chức tế lễ vào các ngày sinh và ngày hoá của ngài.

Tên tuổi của Phạm Hạp còn được đặt cho tuyến đường Phạm Hạp nằm ở trung tâm thị trấn Thiên Tôn, huyện Hoa Lư tỉnh Ninh Bình.