勧請年代は不詳であるが、三代実録に貞観二年三月二十日薩摩国従五位下智賀尾神社に従五位上を授くとあり、古来薩摩国では屈指の由緒深い神社である。
当社ははじめ嶽の北側に聳える上宮岳(千加尾峯)に祀られ、智賀尾六所権現、熊野三所権現、熊野神社と称していたが、里嶽の餅ヶ岡に遷座され、その後(一説には永正年間)野火に遭い現在地に祀られた。
古くは陽神六座、陰神六座の計十二座を祀るといわれ、一般の崇敬は勿論のこと、島津歴代藩主や地頭から手厚い保護を受けた。
永正十六年の「智賀尾六所権現」の額、天文二十二年の棟札があったという。
明治四年八月に県社に列せられ、昭和十年秋の昭和天皇本県行幸の際には神饌幣帛料を賜っている。
近年社殿の老朽化がひどく、昭和六十一年十一月、里岳住民の浄財並びに一般の寄進により、現在の社殿に改修された。
近くを流れる川を「神之川」と呼ぶのは、この源流に当社があったからと思われる。