Chùa Lô Sơn do Tể tướng Nguyễn Văn Miên dựng vào năm Vinh Thịnh (1705 – 1719) đời vua Lê Dụ Tông lúc đó chỉ là 3 gian nhà nhỏ, mái lợp tranh nằm trên khu đất bằng phẳng, rộng đủ để các đệ tử trong vùng đến làm lễ, nhân dân còn gọi là Am Tự.

Đây là một di tích kiến trúc văn hóa cổ khá đẹp, có tấm bia đá cổ được ghi vào sách “Hoan châu bi ký”, có lời văn ca ngợi công đức người dựng chùa và cảnh đẹp ở đây như sau:“Hoan châu cảnh đẹp, Vạn Lộc nổi danh, tướng dòng nhà tướng, khác hẳn thường tình, uy phong lẫm liệt, tướng mạo đường hoàng. Rồng mây gặp hội, công nghiệp hưng vong. Duyên may hòa hợp, sánh người tao khang. Làm nhiều công đức, thuyền chở xe mang. Dựng chùa tạc tượng, kẻ cột chạm xà. Trước sau cao ngất, tả hữu đối nhau. Lại đúc chuông to, tuyên dương Phật giáo…”.

Trải qua bao thế kỷ, chùa Lô Sơn vẫn giữ được nét cổ kính hòa quyện với thiên nhiên trữ tình tạo cho di tích trở thành một công trình văn hóa độc đáo, đến thăm viếng di tích, du khách sẽ được tận hưởng sự trong lành của cảnh quan thiên nhiên, thỏa mãn được nhu cầu tâm linh, bày tỏ được những tâm sự thầm kín với đấng chí tôn.

Chùa Lô Sơn được xây dựng dưới chân núi Cao, dựa vào thế núi, núi và chùa đan quyện hài hòa, bổ sung cho nhau lại ẩn hiện giữa những cây đại thụ sum xuê, xanh biếc tạo cho chùa hòa nhập với cảnh trí thiên nhiên toàn cảnh như một bức tranh đầy hấp dẫn.

Tại ngôi chùa này đã chứng kiến nhiều cuộc họp của Đảng bộ làng Vạn Lộc trong thời kỳ kháng chiến chống Pháp và chống Mỹ. Đặc biệt trong cuộc kháng chiến chống Mỹ, tổ đội du kích làng Vạn Lộc suốt ngày đêm bám trụ trên núi Lò (sau lưng chùa) để canh giữ vùng biển. Ngày 02/6/1968 tại đây tổ đội du kích Vạn Lộc đã bắn rơi chiếc máy bay giặc Mỹ thứ 1.100. Bởi thế núi Lò đã một thời mang dấu ấn lịch sử được mang tên gọi “Đồi một trăm”.

Di tích chùa Lô Sơn là nơi thờ Phật thuộc phái Đại Thừa. Đại Thừa ngụ ý là cỗ xe lớn chở nhiều người, người theo Đại Thừa quan niệm rằng trong vũ trụ có chư Phật và chư Bồ Tát ở cả 3 thời quá khứ, hiện tại và tương lai. Người tu hành Đại Thừa thành tâm có thể thành Phật, Bồ tát hoặc được các vị Bồ Tát đón về miền cực lạc. Chùa Lô Sơn được bài trí khá nhiều tượng Phật, bao gồm: tượng Tam Thế, Quan Âm, Ngọc Hoàng, Thích Ca, Nam Tào, Bắc Đẩu, Kim Cương, Đức Ông… Trải qua thời gian khá lâu, khí hậu khắc nghiệt, thường xuyên bị thiên tai đe dọa, thế nhưng hệ thống chùa, bia đá, tượng vẫn còn lại khá nhiều là di sản văn hóa tiêu biểu cho tài năng sáng tạo của cha ông.

Chùa Lô Sơn được xây dựng trên khu đất cao ráo, thoáng rộng, khoảng 2 mẫu với quy mô khá lớn, bao gồm thượng điện, gác chuông, tường bao, cổng tam quan, 2 ao sen, nhà biện lệ… “Vào chùa Phổ Am tụng kinh niệm phật thường xuyên thì được thần tiên phù hộ, muốn có phúc đức mãi mãi về sau thì phải quý Phật, gửi sinh mệnh vào Phật”