1229年(寛喜元年)、覚行が常光寺の名で創建したというが、829年に本尊を観音として創建された廃寺を再興したともいわれる。
後に戦乱によって記録とともに焼失し、長らく廃寺となっていた。その後も香花院や浄光寺など名前や場所を変えて盛衰を繰り返した。浄光寺跡は近辺のファーマランドという建物になっており、建物前に石碑が建てられている。
南北朝の争いが起きていた建武2年(1335年)、移転して寺がなくなっていた現在地に、土岐氏の出で天皇方の武将・舟木頼重(後に地名・高松をとって高松頼重と改名)が高松城(喜岡城)を築いたが、11月26日に足利尊氏方の細川定禅らによって攻められ落城する。一族は多くは討死し、頼重の生死も不明である。のちに子孫で香西氏配下となった高松頼邑が城を再建した。香西氏が四国平定を目指す長宗我部元親の配下となると、頼邑もその家臣となった。1585年(天正13年)4月26日、豊臣秀吉による四国攻めに際し、宇喜多秀家が総大将の約2万3千人が長宗我部氏援軍を合わせた200人ほどの頼邑方が守る城に攻め寄せ、城は再び落城して全員が戦死した。頼邑の遺児・内匠は生き延び、大坂冬の陣で豊臣方の本丸守備にあたったという。その後現在の高松に生駒氏が入ると、高松という地名はそちらに移され、城のあった付近は「古髙松」と表記されるようになった。
1592年(文禄3年)、古高松村の旦那衆が常光寺の復活を願って堂宇を再興し、この地がかつて喜岡城跡であったことから喜岡寺に改称した。