創建年代は不詳。寛正2年(1461年)に兵火ですべてを焼失したとき文書類も失われたため、それ以前のことはわかっていない。
焼失して約70年が経った天文元年(1532年)、野呂長者惟久によって現在地に再興された。惟久は美濃の大宝寺(現・岐阜市大宝町)の住職・泰秀宗韓禅師を招いて中興開山とした。
宗韓禅師は大本山妙心寺東海派の祖・悟渓宗頓禅師の法統を継いだ興宗宗松禅師の高弟で、四哲と称された優れた弟子を世に輩出した。四哲のひとりである2世・澤彦宗恩禅師に教えを学んだ縁で、織田信長はたびたび永泉寺に足を運び、その教えを受けた。
天正12年(1584年)には小牧・長久手の戦いに巻き込まれて焼失した。荒廃しかかったが、3世・雪巖宗郝が本堂を再建した。
江戸時代に入ると、犬山市羽黒の豪族・梶原家の出自とされる槐山宗三が住して漸次復興された。澤彦からしばらくの代は永泉寺・政秀寺やその他末寺寺院の運営を派中で取りまとめていた。
槐山の後は禅外崇喝が継ぎ、その次に徹源祖侃が継いで本堂を再建した。祖侃は後藤又兵衛の遺児と伝えられる。