いつの頃からの村かは定かではないが、鎌倉時代に宗氏と阿比留氏が争った時、佐須奈を拠点としていた阿比留禅祐坊の子女がこの村にかくまわれたという話がある。おそらく平安時代以前に成立していた村ではないだろうか。
かつて西津屋といえば、対馬では西光寺のツツジ(キリシマツツジ)と西津屋蕎麦で有名な島内観光地だった。
西光寺は住職はいないが廃寺ではない。仏事があれば同宗派の寺から担当の僧が駆けつける。そんな寺を無住寺というらしい。そのあまり広くない境内でキリシマツツジの巨木は美しい花を咲かせ、島内からの花見客で賑わった。しかし、1975年(昭和50年)ごろから、寿命を全うしたかの如く枯れてしまったそうだ。1973年に寺守りをしていたおばあさんが殺されことを嘆いたのかも知れない。(犯人は他の村の労務者で4日後に捕まった。)その後、その子孫と思われる幼木が花を咲かせていたが、2020年、村の人に聞くと西光寺のツツジは咲いていないようだ。