新語彙の問題のためにサブワードは広く使われている手法であり，アプローチとしてはByte Pair Encoding (BPE)がメジャーである．しかしサブワード化は複数の候補があるにも関わらず，BPEではセグメンテーションが決定的に一意になってしまい，単語構成と ...

・代表的な正則化手法の特徴を説明できる ・獲得したいモデルの特性に応じて、適切な正則化手法を選択できる 誤差関数を最小化することでモデル学習が行われ、適切な予測ができるようになる。 過学習を防ぎます。 対応策は総じて正則化と呼ぶ。