在五色台西面的白峰山的半山腰处，坐落着四国八十八所灵场的第八十一号札所——白峰寺。
　白峰寺作为由真言宗的弘法大师空海和天台宗的智证大师圆珍两位大师开创的寺院而闻名。根据缘起文书的记载，弘仁6年（公元815年）弘法大师空海在白峰山的山顶上埋下了如意宝珠、挖掘了阏伽井，祈求众生普渡，这就被认为是白峰寺的起源。
据说其后，濑户内海中出现了一块灵木闪耀着祥光，智证大师圆珍被祥光所指引登上了白峰山，在山中巡查之时，从一位突然出现的白头翁那里听到了神明的指示，于是打捞起那块灵木，制成了千手观音的神像，并以此为白峰寺的主佛创建了佛堂。
此外白峰寺作为死于保元之乱的崇德上皇的陵墓守护寺，深受历代天皇、朝臣及武将信奉，供奉了各种各样的宝物。另外相传白峰山上还住着名为“相模坊”的天狗，在室町时代初期据说由世阿弥所写的民谣《松山天狗》以及江户时代由上田秋成所写的《雨月物语》等诸多文献中均出现过。