播磨灘の中央に、44とも数えられる家島諸島が浮かぶ。ここは国生み神話の伝承地、そして、海洋交通の要衝として重要な位置にある。
当社の鎮座する家島本島は、諸島の中でも特に入り江が奥深く、絶好の港になっている。伝えられる処では、神倭磐彦命(神武天皇)が、大和橿原の地に向かわれる途次、当地へ御寄港になられたところ、港内が風波穏やかで、あたかも家の中にいるように静かであったので「いえしま」と名付けたという。当社はこの時、武運長久と海上航海の安全を祈願して天神をお祀りしたに始まると伝わる。
家島諸島・播磨灘総鎮守である当社は、承和7年(840)官社に列せられ、つづく『延喜式』には「名神大」としてその名を連ねている。
境内地は岬の突端に位置し、境内全域にウバメガシ、シイ、トベラ等が生い茂り「天神の森」と呼ばれ瀬戸内海国立公園に指定されている。境内入り口には、菅公上陸の地とされる「詩オ書き石」と呼ぶ岩場があり、大鳥居横には万葉の歌碑がある。
平成13年(2001)に天神の森の保護も考慮し、海岸線を中心とする境内整備の大事業が施された。