Изменения

# В работе <ref>[https://arxiv.org/pdf/1702.03275.pdf Batch Renormalization: Towards Reducing Minibatch Dependence in Batch-Normalized Models]</ref> было представлено расширение метода нормализации батчей: ренормализация батчей (англ. Batch Renormalization). Данный метод улучшает нормализацию батчей, когда размер батчей мал и не состоит из независимых данных.

# Метод потоковой нормализации (англ. Streaming Normalization) был предложен в <ref>[https://arxiv.org/pdf/1610.06160.pdf Streaming Normalization: Towards Simpler and More Biologically-plausible Normalizations for Online and Recurrent Learning]</ref>. Данные метод убирает два ограничения нормализации батчей: использование при online-обучении и использование в рекуррентных нейронных сетях.

== Примечания ==

* [https://towardsdatascience.com/batch-normalization-in-neural-networks-1ac91516821c Glossary of Deep Learning: Batch Normalisation]

* [https://kratzert.github.io/2016/02/12/understanding-the-gradient-flow-through-the-batch-normalization-layer.html Understanding the backward pass through Batch Normalization Layer]