観音寺は、1686年(貞享3年)に家原浅野家の菩提所として創立されたと伝えます。1671年(寛文11年)赤穂藩浅野家から加東市内十一ヶ村3500石を分知された浅野長賢が、当家原村に陣屋を構えて旗本家原浅野氏の祖となりました。
観音寺は創立以来、浅野家の香花所として崇敬されました。1701年(元禄14年)浅野長矩公の殿中刀傷により赤穂浅野氏は断絶となりましたが、家原浅野氏は、廃藩まで七代200年続きました。赤穂四十七士の義拳から150年を経て1847年(弘化4年)墓所建設の呼びかけに応じて家原・穂積両陣屋をはじめ、近郷近在の多くの有志から浄財が寄せられ現在の立派な墓所が完成しました。
以来今日まで、毎年12月14日は、赤穂義士の忠誠を讃えて義士祭が盛大に営まれます。
廃藩以後、寺も廃寺同様に荒れましたが、明治17年、西田玄孚尼によって再興されました。