神谷神社是建于河边的神社，传说神仙们曾聚集在神社所在的山谷中游玩，因此被称为“神谷”。正殿为日本国宝，建造在用石头堆起的地基上，横向长3间（注：“间“为长度单位，1间约为1.8m）、纵向长2间的主屋有部分屋檐向外延伸形成了"向拜"（注：指从建筑物的正面向外延伸的带屋顶的部分）。
神谷神社最引人注目的地方还属屋顶，丝柏树皮修葺的屋顶呈现出圆润而优美的曲线。像这样从屋顶的顶端向正面呈曲线状延伸的建筑方式称为“流造”，而像神谷神社这样主屋的柱间距离为3间的建筑，称为三间社流造。
从神谷神社中使用的木材上留下的文字来看，可以断定这是镰仓时代初期的建筑，在日本全国众多的三间社流造式建筑的神社中是最古老的。