養老年間(717年 - 724年)、歌人・山部赤人によって創建されたと伝わる。また、赤人の臨終の地とも伝わっている。
寺伝によると、赤人は若いころに「汝は我が生まれ変わり」との如意輪観音からの夢告げにより、田子ノ浦から一寸八分の如意輪観音を念持仏として迎えた。また壮年になって蒲生野へ出かけた際、木にかけた冠がはずせなくなり一夜をすごしたところ、再び「この地こそ仏法興隆の勝地なり、この地に安置すべし」との夢告げを受け、寺を創建したという。寺は当時の天皇・元正天皇より「養老山」の勅額を賜わり、「赤人寺」と名づけられた。胎内に念持仏を安置した本尊の観音像を赤人は護持し、そのままこの地で生涯を閉じたと伝わっている。
万葉集巻8には、臨終のときに赤人が詠んだ「春の野にすみれ摘みにと来しわれそ 野を懐かしみ一夜寝にける」という歌が残されている。また本尊は「仰ぎ来てよよ降る雪の富士の峰の それよりもなお名こそ高けれ」と歌われている。
平安時代のものもある数多くの寄進状(もともと神仏習合のため、現在は山部神社文書となっている)や寺宝類はその歴史と寄せられた信仰心の篤さを物語っている。
堂裏に立つ文保2年(1318年)の七重石塔は「赤人墳墓」として山部種生が建立したものと伝わる。また境内にある木は冠をかけた木とされ、「赤人桜/冠掛けの桜」と呼ばれている。