『日向地誌』によると、本社の南に昆比羅祠があり、これを俗に天狗の宮と称し、天狗の住むところとして土地の人が恐れ、午後四時を過ぎると参拝を禁ずと記し、昆比羅祠の修繕に工師が天狗伝説を利用したことも記録している。
祭神は紀伊国熊野神社と同じで、旧称を熊野三社権現といったが、明治八年現社名に改称したという。祭神は現祭神のほか、伊弉冉尊、応神天皇、開山千光国師という別の記述もある。この地は、神武天皇東征にあたり稲を蒔き、その豊熟を祈願した所であるから、「飯野村」の名が起こったとも伝える。
また羽山積神社別当寺である羽山寺（端山寺）は、千光国師の開山とされ、これより西二町余りの所にあり、真言宗鹿児島大乗院の末寺であったが、明治時代初め廃寺となる。『三国名勝図会』によれば、旧称熊野権現といい、栄西禅師の勧請と伝え、さらに次のような伝説を伝えている。狗留孫山には熊野権現社がりその別当寺を端山寺という。太古二竜王があった。健盤竜王と婆竭羅竜王とである。健盤は狗留孫仏に請うて一本の石率都婆を建てた。そして彼等は前者には大般若経を書し、後者には法華経を写した。今の率都婆石・観音石がそれらである。昔栄西禅師はこの山に来て石率都婆を拝した。そして山の嶺に祠を建てて熊野権現を勧請し、端山寺を創建した。山名を狗留孫というのは率都婆石の伝えからついたので、この石を拝する者は無始の罪障を消滅し、頓に菩提の果を証すという。
