栗林公园最初是在江户时代初期的宽永8年（1631年）由统治赞岐国的生驹高俊在南湖一带动工兴建的，形成了现在的公园原型。之后，松平赖重取代生驹氏成为了初代高松藩主。自松平赖重起到第5代藩主的赖恭为止，耗费了约100年的时间，这座大名庭园终于在延享2年（1745年）建成。
栗林公园最大的魅力在于“池泉回游式庭园”。在占地约16公顷（约3.5座东京巨蛋）的宽广园地中，为了让庭园看起来更加雄伟壮丽，采用借景的方式将紫云山作为背景，再以6个大水池和13座山丘造成山海之势，制作出高低起伏的地形，在此基础上，在宽广的园内各处设置了展现方式（风格）各异的庭院，形成了“池泉回游式庭园”。园内以松树为中心，种植着各式各样的花卉草木，每走一步都能欣赏到不同的景致，被称为“一步一景”。栗林公园被认为集日本庭园之大成，作为文化财产具有极高的价值，于1953年被指定为“特别名胜”（庭园国宝）。