防人は、東国の豪族が編成した軍隊の兵士から徴集された。兵士と言っても農民がほとんどだった。大和朝廷は彼らの強さを頼りにするとともに、監視の目が行き届かない東国の豪族たちの力を削ぐという目的もあったというのが通説だ。
任期は原則3年だが延長されることがよくあり、食料や武器は自前だった。任地では自給自足となる(但し対馬は耕す耕地が少ないので、九州から食料を輸送した)。さらに兵士の地元ではその間の税が免除されることもなく、送り出した家族にとっても大きな負担で、離散することもあったようだ。 任務が終るとその場で解散、帰途の路銀ももらえず途中で野垂れ死にする者も少なくなかったという。
『万葉集』の防人の歌には、そんな彼らの望郷の念が込められている。
防人の規模だが、毎年九州には2000人ほどが入ったようだ。任期が3年とすると、常時6000人程度が九州沿岸の防衛にあたっていたことになる。その内100人前後が最前線ともいえる対馬に赴いたそうだ。
757年以降、九州本土では地元徴用に変ったが、対馬は防人が守った。その後一時的に九州の兵が対馬の守備についた時期もあったが、再度防人が担当させられ、10世紀になって武士団の台頭ともに防人制が消滅まで続いた。末期の防人は対馬人が担ったという説、その対馬人は定住した防人という説もある。