在五色台的东端、青峰山的半山腰处，坐落着四国八十八所灵场的第八十二号札所——根香寺。
弘法大师空海在五色台的五座山中感受到了金刚界曼荼罗五智如来的存在，于是将此地作为密教修行之地，祭祀作为五智如来的教令轮身的各尊明王，兴建了“花藏院”。之后，智证大师圆珍受到了市之濑明神的启示，用莲华谷的灵木雕刻了主佛千手观音菩萨像，兴建了“千手院”。由于该灵木的树桩散发出阵阵芳香，因此这两所寺院也被统称为根香寺。
传说从前青峰山上住着可怕的食人牛鬼，后来一位弓箭能手将其降服，然后将其角献纳于寺内。
寺院门前就安放着这只牛鬼的铜像。