Изменения

# В работе <ref>https://arxiv.org/pdf/1603.09025.pdf</ref> был предложен способ применения нормализации батчей к рекуррентным нейронным сетям.

# Расширение метода нормализации батчей было предложено в <ref>https://arxiv.org/pdf/1804.08450.pdf</ref>. Метод получил название декоррелированная нормализация батчей (англ. Decorrelated Batch Normalization). В данном методе кроме операций масштабирования и сдвига была предложено использование специальной функции затирания данных.

# В работе <ref>https://arxiv.org/pdf/1702.03275.pdf</ref> было представлено расширение метода нормализации батчей: ренормализация батчей (англ. Batch Renormalization). Данный метод улучшает нормализацию батчей, когда размер батчей мал и не состоит из независимых данных.

# Метод потоковой нормализации (англ. Streaming Normalization) был предложен в <ref>https://arxiv.org/pdf/1610.06160.pdf</ref>. Данные метод убирает два ограничения нормализации батчей: использование при online-обучении и использование в рекуррентных нейронных сетях.