彌谷山（iyadanisan）的山腰四周林木圍繞，四國八十八所靈場第七十一號札所則座落於其山腰斜面。
根據寺院的創建資料及史料記載，彌谷寺在距今西元1300年前，由一位名為行基的僧侶所建。從身後的彌谷山山頂望去，可環顧四國地區和隔著瀨戶內海的岡山縣和廣島縣等八國，因此也被命名為「八國寺」。
西元807年(大同二年)，據說弘法大師空海於此處修習密教法時，突然有五把利劍從天而降，弘法大師依照上天指示在此建立新寺院。
至今大師堂裡仍留有當年年幼的弘法大師空海在此修習佛法的洞窟，以及能窺見月光光芒的窗戶。
寺院境內的本殿及多棟建築物，緊鄰著凝灰岩的岩壁所建，配合岩壁紋路加工彫出了諸如阿彌陀佛像、「南無阿彌陀佛」文字及五輪塔等許多彫刻，由此可見此寺廟為當地的信仰及修行之山。