210
правок
Изменения
Нет описания правки
==Реализации==
Механизм нормализации батчей реализован практически во всех современных инструментариях для машинного обучения, таких как: TensorFlow, Keras, CNTK, Theano и т.д.
with tf.control_dependencies(update_ops):
train_op = optimizer.minimize(loss)
==Модификации==
Существует несколько модификаций и вариаций метода нормализации батчей:
# В работе <ref>https://arxiv.org/pdf/1603.09025.pdf</ref> был предложен способ применения нормализации батчей к рекуррентным нейронным сетям.
# Расширение метода нормализации батчей было предложено в <ref>https://arxiv.org/pdf/1804.08450.pdf</ref>. Метод получил название декоррелированная нормализация батчей (англ. Decorrelated Batch Normalization). В данном методе кроме операций масштабирования и сдвига была предложено использование специальной функции затирания данных.
# В <ref>https://arxiv.org/pdf/1607.06450.pdf</ref> был предложен метод нормализации слоев, который решает проблему выбора размера батча.
# В работе <ref>https://arxiv.org/pdf/1702.03275.pdf</ref> было представлено расширение метода нормализации батчей: ренормализация батчей (англ. Batch Renormalization). Данный метод улучшает нормализацию батчей, когда размер батчей мал и не состоит из независимых данных.
# Метод потоковой нормализации (англ. Streaming Normalization) был предложен в <ref>https://arxiv.org/pdf/1610.06160.pdf</ref>. Данные метод убирает два ограничения нормализации батчей: использование при online-обучении и использование в рекуррентных нейронных сетях.
== Примечания ==
