五色台の西よりの白峰山（しろみねやま）の中腹に四国八十八ヶ所霊場第八十一番札所白峯寺があります。
白峯寺は真言宗の弘法大師空海、天台宗の智証大師円珍（ちしょうだいしえんちん）の両大師の開基の寺院として知られています。白峯寺は、縁起文書によると弘仁６年（815年）に弘法大師空海が白峰山の山頂に如意宝珠を埋めて、閼伽井（あかい）を掘り、衆生済度を祈願したのが始まりとされています。
その後、瀬戸内海に現れた霊木が光明に輝き、その瑞光に導かれて智証大師円珍が白峰山を登り、山中を巡検していると、現れた白髪の翁の御神託を聞き、その霊木を引き上げて、千手観音の尊像を作り、白峯寺の本尊として仏堂を創建したと云われています。
また保元の乱ののち生涯を閉じた崇徳上皇の御陵を護持する寺院として、代々の天皇、公家、武将からの帰依も篤く、種々の宝物が奉納されました。さらに白峰山には「相模坊」（さがみぼう）という天狗が住んでいたと伝わっています。室町時代初期に世阿弥によって書かれたとされる謡曲「松山天狗」や、江戸時代に上田秋成によって書かれた「雨月物語」など、数多くの文献に登場します。