Sử tích ghi lại rằng: Linh Quang tự khởi đầu chỉ là ngôi chùa tranh đơn sơ được xây dựng từ năm 1747 để thờ cúng và làm nơi ở cho các vị trụ trì. Song, vào cuối thế kỷ 18 ngôi chùa này không may bị hỏa hoạn thiêu rụi, bao di sản cổ quý giá trong chùa đều bị hư hại, chỉ còn lại những tượng Phật bằng đồng, đất nung.
Cũng vào thời điểm ấy tại eo biển hòn Tranh (Phú Quý) cách ngôi chùa không xa người dân phát hiện một “tảng linh thạch” lớn nổi lên mặt nước và cho rằng đây là điềm lành, thế rồi tín đồ phật tử thỉnh “tảng linh thạch” về chùa. Sau đó, “tảng linh thạch” được chạm khắc thành pho tượng Bổn Sư Thích Ca Mâu Ni nặng 300 kg và cao 121cm để người dân đến chiêm bái mỗi ngày. Nơi xuất hiện “tảng linh thạch” này người dân địa phương gọi là “Vũng Phật” ở khu vực hòn Tranh. Về sau qua nhiều lần tu sửa, đến năm 1992 ngôi chùa đã trở thành một quần thể kiến trúc độc đáo ở Phú Quý…
Hiện Linh Quang tự là một ngôi chùa khang trang, bề thế với nhiều nét cổ kính đầy ấn tượng. Khuôn viên chùa gồm các khu vực chính như: Chánh điện, cổng Tam quan, nhà hội quán và nhà Tăng. Phía trước chùa có cổ lầu rất cao. Trên nóc những cổ lầu này được khắc họa lưỡng long tranh châu và rồng, phượng rất tinh xảo. Du khách được nhìn ngắm những hiện vật, kiến trúc xưa ở chùa. Ngoài pho tượng đồng mang dấu vết của trận hỏa hoạn thì ngôi chùa còn có Đại Hồng Chung. Chiếc chuông này được đúc vào năm 1795, thể hiện rõ nét sự công phu trong thời đầu của nghệ thuật đúc đồng. Bên trong chùa còn lưu giữ nhiều gỗ, đá quý và kinh sách… Trong những bảo vật được lưu giữ tại Linh Quang tự phải nói đến hộp đựng 5 sắc phong của các vua triều Nguyễn ban cho chùa. Cả 5 sắc thần đều đóng dấu “Sắc mạng chi bảo” của triều Nguyễn. Đến nay, các sắc thần vẫn còn nguyên vẹn, hàng năm khi có những nghi lễ mới được đưa ra. Vì thế, từ năm 1996 chùa Linh Quang tự được Bộ Văn hóa, Thông tin xếp hạng thắng cảnh cấp quốc gia. Trong khuôn viên chùa còn có một bảo tháp cao 9 tầng hùng vĩ mới được xây dựng sau này. Tháp cao 27 m, với lối kiến trúc sắc sảo, tinh tế, hình bát giác khá lớn nên đứng ở vị trí nào ngoài biển hoặc trên đảo đều thấy rõ. Khi trời quang mây tạnh, gió nhẹ nếu du khách đứng ở tầng cao nhất của ngôi “bảo tháp” ngắm nhìn tứ hướng có thể thấy rõ cảnh đẹp và thơ mộng của hòn Tranh, hòn Nhỏ, hòn Chiên, hòn Khám, hòn Vung, hòn Bố, hòn Trào hay thấy núi Cao Cát, núi Cấm hùng vĩ.
Có thể nói, Linh Quang tự nằm trên một ngọn đồi cao ở thôn Mỹ Khê, xã Tam Thanh, là ngôi chùa đầu tiên trên đảo Phú Quý, gắn chặt với đời sống văn hóa tín ngưỡng và tâm linh của các thế hệ người dân trên đảo. Hàng ngày khi những con tàu sắp cập cảng, nhiều lữ khách náo nức hướng mắt về đảo nhỏ thân yêu. Hàng trăm chiếc ghe, thuyền nhấp nhô và bến cảng người, xe ra vào nhộn nhịp. Bước lên đảo theo đại lộ Võ Văn Kiệt lữ khách lại nhìn thấy “bảo tháp” như lâu đài cổ kính, dưới chân bảo tháp là Linh Quang tự – một trong những ngôi chùa cổ nhất có nhiều hiện vật kỳ lạ, huyền bí. Linh Quang tự còn là điểm du lịch tâm linh với lối kiến trúc đầy nghệ thuật thu hút nhiều du khách và người hành hương. Nhiều du khách đến chùa cổ Linh Quang tự muốn được tận mắt nhìn thấy “tảng linh thạch” huyền bí được thỉnh từ eo biển “Vũng Phật”. Ngay trước khi vào thắp hương bái Phật, cầu mong những điều may mắn trong cuộc sống hay tham quan, vãn cảnh chùa, lữ khách không thể bỏ qua những vần thơ khắc trên đá ca ngợi cảnh đẹp quê hương đảo Phú Quý.