初代の名通上人が15歳のとき、父親順信と共に船で門司に向かっていたが、風波のため、佐賀関の古宮に上陸、古宮のお宮に参拝し、名通上人はそのまま当地に残り住みつき、元和元年(1615年)に父親順信が建てた沖ノ島の徳応寺を佐賀関に移し再建しました。
幕末期には、坂本龍馬、勝海舟の一行がこの寺を訪れ宿泊しています。
オランダ、アメリカ、イギリス、フランスの4カ国の砲撃中止の交渉のため、幕府から長崎出張の命を受けた勝海舟が、海軍塾の塾頭である坂本龍馬を連れ立って神戸を出帆、佐賀関に上陸し、佐賀関・肥後街道を通って長崎に向かいました。
佐賀関に上陸したときの記録が徳応寺所蔵の「日本人物誌」に乗船のスケッチも含め、詳しく残されています。
