五色台の東端、青峰山（あおみねやま）の中腹に四国八十八ヶ所霊場第八十二番札所根香寺があります。
弘法大師空海が五つの山々に金剛界曼荼羅の五智如来を感じ、密教修行の地として、五智如来の教令輪身である各明王を祀り、「花蔵院」を建立しました。その後、智証大師円珍（ちしょうだいしえんちん）が市之瀬明神のお告げを聞き、蓮華谷（れんげだに）の霊木で、本尊千手観音菩薩を作り、「千手院」を建立しました。その霊木の切り株から芳香を放っていたことから２院を総称して根香寺となりました。
昔、青峰山には人間を食べる恐ろしい牛鬼（うしおに）が住んでいたと言われており、弓の名人が退治し、角をこの寺に奉納したという伝説があります。門の前には、この牛鬼の銅像が作られています。