※この記事はE資格試験受験者向けの学習支援を目的としており、出題内容の直接的な引用は行っておりません。 深層学習において、学習の安定性や収束速度を高めるために使われる「正規化手法」。 その代表例が Batch Normalization(バッチ正規化) と Layer ...
言語モデルで使われるレイヤー正規化(Layer Normalization)は、学習の安定性を高めるための手法です。訓練中にデータの分布(平均や標準偏差)が大きく変動することを防ぎ、学習を安定かつ効率的に進めることができます。 この目的は、画像処理でよく ...