五色台の南麓に四国八十八ヶ所霊場第八十番札所國分寺があります。
今は四国八十八ヶ所霊場の札所寺院として有名ですが、寺の始まりは、奈良時代天平13年（741年）に聖武天皇（しょうむてんのう）が国の安穏、五穀豊穣、地方文化の発展などを願って全国に建立された国分寺に始まります。讃岐国の国分寺は行基という僧が本尊に巨大な千手観音像を彫像して、今の高松市国分寺町に建立したといわれています。その後、弘法大師空海がこの寺を訪れ、本尊を補修して霊場に定めたと言われています。
山門をくぐると両側に四国霊場の全ての本尊を模った石造88体が並べられています。右側の石造の後ろ側には、創建当時の七重塔の礎石として１ｍを超える巨石が、鐘楼を超えたあたりで、金堂の礎石として１ｍを超える巨石が残っています。
現在、國分寺境内は周囲で確認された僧房跡や築地塀跡などとともに四国で唯一国の特別史跡に指定されています。境内には重要文化財に指定されている本堂（鎌倉時代）が建ち、また重要文化財に指定されている本尊木造千手観音立像（平安時代）、銅鐘（平安時代）などを所蔵しています。また、さぬき七福神の弁財天をまつり、信仰を集めています。