四國國八十八所靈場第八十一號札所白峯寺位於五色台西側的白峰山（shiromineyama）山腰。
白峯寺是兩位大師──真言宗弘法大師空海，和天台宗智証大師圓珍的開基寺院而為世人所熟知。根據史料記載，白峯寺的起源據說是弘仁6年(西元815年)弘法大師空海在白峰山山頂埋下如意寶珠，並開掘了閼伽井，以求濟度眾生百姓。
之後在瀨戶內海出現了靈木發出閃耀的光芒，這道瑞光引導了智証大師圓珍登上白峰山，在山中巡檢時出現了一名白髮老翁對他下達神喻，智証大師圓珍將靈木打撈彫造成千手觀音神像，做為白峯寺的主神並創建佛堂。
此外，保元之亂後結束了一生的崇德上皇的陵寢位於白峯寺內，受到代代天皇、公家、武將的虔誠奉獻，在此供奉了許多寶物。且據傳白峰山中住有名為「相模坊」（sagamibou)的天狗。室町時代初期由世阿彌所寫的歌謠「松山天狗」，和江戶時代上田秋成所寫的「雨月物語」等多部文獻中皆有記載。