古くは、宗元または宗源の文字を用いていました。東光山と称し、曹洞宗に属し、行基によって開かれたと伝えられています。
この寺の前身は、奈良時代後期から平安時代初期にわたって建てられました。寺の地域は、県立横須賀高等学校の用地を含む一町(約109メートル)四方の広さであったと言われています。
南大門をくぐり中門を入ると、金堂と三重の塔が相対してそびえ、講堂が偉容を誇り、これに連なって回廊があり、東面と北面に僧坊が建っていました。さらに北門を抜けると高台に薬師堂があるといった法隆寺または法起寺様式の一大寺院であったろうと考えられています。南大門の前は衣笠栄町方向から大津方向にかけて古東海道が延び、身分の高い人々の家や役所が立ち並んでいたであろうと想像されています。その建造物も、室町時代になって世の中が乱れると、群盗の乱入によって焼失してしまいました。そのとき、火に遭った金銅造り薬師如来像が、当寺の本尊である薬師の腹中に安置されています。
本尊の薬師は、行基が彫った仏像と伝えられていますが、現存する白木造り薬師座像は、その脇に控える日光・月光両菩薩像とともに慶長年代頃の作品と推定されています。したがって、現存の本尊は、徳川の代官長谷川七左衛門長綱が由緒ある当寺の衰えを嘆いて、もとの薬師堂の跡に寺を再建したと伝えられていますので、その折に造られたものと考えられます。当寺再興以後の江戸時代には、眼病を治す三浦薬師と広くあがめられていました。
現在の寺の様式となったのは、昭和七年以後のことです。
寺内に安置されている十二神将立像は、部分的に痛んではいますが、十二体そろっていることは珍しく、鎌倉末期の作品で、県指定の有形文化財です。