四國八十八所靈場第七十二號札所曼荼羅寺位於從西邊綿延而起的火上山、中山、我拜師山、筆山、香色山(hiageyama,nakayama,gabaishizan,fudenoyama,koushikisan)等接連而成的五座山的山腳下。
根據刊載寺廟起源的史料文書，曼荼羅寺是四國靈場中歷史最悠久的，據說於西元596年(推古四年)由弘法大師的祖先佐伯氏所建。後來弘法大師空海來到此處，西元807年（大同二年）為供奉母親的佛果菩提，興建了本殿及寶塔，寺中供奉大日如來等佛像。
現今仁王門建於東邊，進入後，正前方便是正殿。但在距今約200年前的江戶時代的畫像中，參拜者是從北方進入，且當時的正殿右側還建有大師堂。
時間回朔到千年前的平安時代末期，名為西行的歌僧（kasou）與曼荼羅寺有深切緣份，寺中留有據說是西行當時用來午睡的「西行午睡石」，和用來吊掛斗笠的「笠掛櫻」。
此外，為了迎接從岡山縣金光町和倉敷市等地來訪的人們，境內設有許多紀念石碑。