バッチ正規化:内部共変量シフトを減少させる手法

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

深層学習の訓練を加速する手法

2015-02-11 中級 arXiv
画像認識CNNベンチマーク
  • 深層ニューラルネットワークの訓練は困難である。
  • バッチ正規化により、層の入力を正規化することで訓練を加速する。
  • この手法は高い学習率を可能にし、Dropoutの必要性を減少させる。
バッチ正規化深層学習画像分類

深層ニューラルネットワークの訓練では、各層の入力分布が変化するため、訓練が遅くなります。この論文では、バッチ正規化を提案し、層の入力を正規化することで訓練を加速する方法を示しています。特に、従来のモデルよりも少ないステップで同等の精度を達成する点が注目されます。深層学習に興味がある研究者や実務者にとって、実用的な手法です。

深層学習の技術を学びたい研究者や実務者に向いています。

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
Sergey Ioffe, Christian Szegedy