西から火上山、中山、我拝師山、筆山、香色山（ひあげやま、なかやま、がはいしざん、ふでのやま、こうしきさん）の五つの山が連続して並ぶ山塊の山裾に四国八十八ヶ所霊場第七十二番札所曼荼羅寺があります。
曼荼羅寺は、寺の始まりや歴史を書いた文書によると四国霊場で最も古い推古４年（596年）に弘法大師の先祖、佐伯氏によって建てられたと言われています。その後弘法大師空海がこの寺を訪れ、大同２年（807年）に母の仏果菩提を祈るために本堂や宝塔などの建物を建て、本尊大日如来を彫像し、安置したと言われています。今は東に仁王門を建て、仁王門を入ると正面に本堂、左手前に大師堂となっていますが、江戸時代の絵図を見ると、北側から参拝していたようで、当時は本堂の右側に大師堂がありました。
この寺は約1,000年前の平安時代終わりの歌僧（かそう）である西行と縁が深く、西行が昼寝をしたと言われる「西行の昼寝石」や、笠を掛けたと言われる「笠掛桜（かさがけざくら）」があります。また、境内には岡山県金光町（こんこうちょう）や倉敷市から、遍路に対して接待に来ていたことを示した碑が建っています。