1471年の朝鮮の書『海東諸国紀』には豊は家数40余戸と記されている。もちろんこれは正確な数字ではないが、その頃の対馬では中規模の村だったようだ。16世紀後半(天正の頃)には51戸。1717年(享保2年)には66戸、1731年(享保16年)には75戸にも達するが、その15年後の1746年(延享3年)には43戸と激減している。別家隠居を減らすという藩の方針による戸数減少もあるが、別の理由もあるようだ。
朝鮮との交易によって藩の財政を築いてきた対馬藩は、当然のように密貿易を禁止した。密貿易者は「潜商」と呼ばれ、見つかると死罪や奴婢の刑に処せられた。豊では百姓の潜商14戸がつぶれ40人程減ったという。
さらに慢性の食料不足に苦しんでいる島ゆえ、人口の増加は避けなければならず、島外からの居住を抑制した。1706年(宝永3年)に藩は旅人吟味役を設け、他国者を次々と送還していったが、潜商および他国者の取締りが厳しくなると逃亡者が増え、それが豊の人口を減らす一因になったとも考えられている。