Tương truyền, ngày trước trên núi Long Phụng mọc nhiều mai vàng. Mùa xuân đến, mai trổ hoa, sắc vàng của hoa chiếu vào sắc trắng của đá như núi phát hào quang, tạo nên cảnh sắc vừa kỳ vĩ. Ngày nay, dân trong cùng còn lưu truyền câu ca: “Đầu rồng, đuôi phụng, cánh tiên/ Thương người lữ khách mọi miền gần xa/ Củ lang mỏng vỏ đỏ da/ Ai về Long Phụng cùng ta thì về”.Cái tên chùa Ông Rau, theo Chủ tịch UBND huyện Mộ Đức Trần Văn Mẫn là do xuất phát từ vị sư đầu tiên tu tại chùa. Tương truyền ngày xưa, có một nhà sư không rõ danh tính gốc Ấn Độ đến tu ở chùa. Vị sư này không ăn ngũ cốc, chỉ ăn rau nên dân trong vùng gọi là Ông Rau; nơi ông tu gọi là chùa Ông Rau. Chùa còn có tên gọi khác là chùa Hang, chùa Cốc. Bởi thực tế đây là một hang động nhỏ trong quần thể núi Long Phụng. Theo sách “Đại Nam nhất thống chí” của Quốc sử quán triều Nguyễn có đoạn cũng từng ghi: “Chùa Hang ở mé núi Long Phụng cách huyện Mộ Đức 7 dặm về phía đông trước chùa có khe suối vòng quanh cây cối xanh tốt. Tương truyền trước có một nhà sư trụ trì ở đây, nhà sư thường ăn lá dâu để sống, bao năm không ăn ngũ cốc, nên người gọi là “Thái Tăng” (vị sư ăn rau)”.

Lại nói về chùa Ông Rau, tọa lạc trong một hang nhỏ ở lưng chừng núi. Hang ẩn mình dưới những tán cây xanh tốt, được thiên nhiên khéo léo sắp đặt với bốn tảng đá tổ ong son đỏ ghép kín tạo thành, có miệng hang rộng chừng 2,5m, cao 2m, diện tích hang khoảng 12m². Chùa xưa kia có mái hiên là một tảng đá ong đồ sộ nhô ra từ thân núi. Sau này tảng đá đã bị người dân trong vùng đẽo về làm nhà. Bên trong chùa hiện còn ba bộ ghế thờ bằng đá với những nét chữ Hán. Bên trái chùa có một miệng hang rộng chừng 1m, được gọi là đường xuống địa ngục. Theo các cụ già, hang ngày trước rất sâu, thông ra biển. Về sau bị bồi lấp dần. Bên phải chùa có hai tảng đá tách ra tạo thành lối đi rộng chừng 0,5m thông thẳng lên đỉnh mái chùa, được gọi là đường lên trời.

Không ai biết Ông Rau viên tịch hay vân du nơi nào, nhưng nét kiến trúc kỳ vĩ, độc đáo của chùa Ông Rau cùng với lòng mộ đạo của người dân địa phương khiến chùa vẫn thường xuyên được nhang khói, quét dọn. Ngày 26/01/2018, UBND tỉnh Quãng Ngãi đã ban hành Quyết định số 178/QĐ-UBND xếp hạng di tích văn hóa, danh lam thắng cảnh núi Long Phụng – chùa Ông Rau là di tích văn hóa cấp tỉnh.