Batch Renormalization: Towards Reducing Minibatch Dependence in Batch-Normalized Modelsを読んだ

今日からNIPS 2017のaccepted paperを毎日30分で斜め読みしていくぞぃ.
(印刷してる時にすでに短時間で見るの無理だろ、というのにいくつか遭遇したけど.)

もうすごい昔に出てた気がしちゃう、すでに懐かしい感じの
batch normalizationの改良版として出てきたこいつ.

何やったか

batchsizeが小さい場合やnon-i.i.dの場合でも上手くワークする手法.
minibatch内にあるサンプルの偏りに依存しない形.

端的には次で終わり.

ちょっとずつ ${ \mu , \sigma }$ を真値と思われるところに移動させていく.

minibatchが小さい時に収束が早いということとnon i.i.dのケースについて実験.
特にnon-i.i.dの時に有効性が印象的.

基本的にはBatch Normalization入れるならこっち入れたら？のスタイル.

Conclusionに

Batch Renormalization offers a promise of improving the performance of any model that would normally use batchnorm.

とあって強い.

ここまでで時間来たので、出勤...