西から火上山、中山、我拝師山、筆山、香色山（ひあげやま、なかやま、がはいしざん、ふでのやま、こうしきさん）の五つの山が連続して並ぶ山塊の麓に四国八十八ヶ所霊場第七十三番札所出釋迦寺があります。
今から330年前の江戸時代前期の資料によると、これまでは我拝師山の山上に札所がありましたが、建物が朽ちてなくなったことから、近年麓に堂などの建物を建てたとあります。この建物が今の出釋迦寺で、我拝師山の麓にあり、今は山上を「捨身ヶ嶽禅定」（しゃしんがだけぜんじょう）として、建物を建て出釋迦寺の奥之院としています。
　出釋迦寺ゆかりの歴史を書いた文書によると、弘法大師が幼いころ我拝師山で仏の教えを学んでいた時に、人々の暮らしをよくすることを願い、谷底に身を投げたのを、天女が抱き留め、釈迦如来が出現し「一生仏に成る」といわれ、その願いが叶い、この地を「捨身ヶ嶽」と呼ぶようになったということです。その後弘法大師空海は、この山頂で修業し、虚空蔵菩薩像（こくうぞうぼさつぞう）を彫像し、安置したと言われています。ここで拝むとすばらしい記憶力が得られ、学業成就や物忘れに効力があると言われています。