지금으로부터 약 300년 전의 자료에 따르면 이 주변은 센유가하라(仙遊が原)라 불리는 들판이었다고 한다. 젠쓰지 절에서 태어난 홍법대사 쿠카이가 어린 시절 놀던 곳으로, 진흙으로 불상을 만들거나 나무로 불당을 짓거나 돌을 쌓아 탑을 만들며 놀았다고 하는데, 이 일대에 시코쿠 88개소 영장 제74번 후다쇼인 코야마지(甲山寺)가 있다.
코야마지의 시작과 역사를 기록한 문헌에 따르면, 지금으로부터 1,200년 전에 쿠카이가 절을 지으려고 코야마 산 주변을 걷고 있을 때 동굴에서 선인이 나타나 “여기에 절을 지으라”고 하여 동굴 안에 비사문천상(毘沙門天像)을 안치한 것이 코야마지의 시작이다. 코야마지는 대사당 왼쪽에 있는 동굴에서 시작된 것이다.
이 후 일본에서 제일 큰 저수지인 만노이케(満濃池)의 구축 공사를 하게 된 쿠카이는 코야마 동굴에서 구축 공사의 안전과 완성을 기원하였다. 만노이케 저수지는 홍법대사를 추앙하는 사람들의 도움으로 불과 세 달만에 무사히 완성되었으며, 이를 기념하는 건물을 지어 약사여래를 본존으로 안치했다고 전해진다.