神谷神社建於川邊，據說古時神社附近的山谷裡常有神明聚集遊玩，因此得名「神谷」。神社的正殿立於石塊堆疊而成的土台之上，建築物正面有部份屋簷的延伸。沿著建築物正面延長的屋簷被稱為「向拜」。是日本神社或寺院常見的構造，為使參拜者得以在建築物正面供拜祈願所設計。
最引人矚目的莫過於檜木樹皮屋簷的優雅線條。線條從頂端向建物正面延伸的屋簷被稱為「流造」。神谷神社此類主屋正面由三根柱子支撐的建築則被稱為三間社流造。
從神谷神社所使用的木材上殘留的文字，得知其為鎌倉時代初期的建築，也是全國尚存的三間社流造中最古老的神社。