Изменения

# В работе <ref>[https://arxiv.org/pdf/1603.09025.pdf Cooijmans T. et al. Recurrent Batch Normalizationbatch normalization //arXiv preprint arXiv:1603.09025. – 2016.]</ref> был предложен способ применения нормализации батчей к [[Рекуррентные нейронные сети|рекуррентным нейронным сетям]].# Расширение метода нормализации батчей было предложено в <ref>[https://arxiv.org/pdf/1804.08450.pdf Huang L. et al. Decorrelated Batch Normalization//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. – 2018. – С. 791-800.]</ref>. Метод получил название декоррелированная нормализация батчей (англ. Decorrelated Batch Normalization). В данном методе кроме операций масштабирования и сдвига была предложено использование специальной функции затирания данных. # В <ref>[https://arxiv.org/pdf/1607.06450.pdf Ba J. L., Kiros J. R., Hinton G. E. Layer Normalizationnormalization //arXiv preprint arXiv:1607.06450. – 2016.]</ref> был предложен метод нормализации слоев (англ. Layer Normalization), который решает проблему выбора размера батча.# В работе <ref>[https://arxiv.org/pdf/1702.03275.pdf Ioffe S. Batch Renormalizationrenormalization: Towards Reducing Minibatch Dependence reducing minibatch dependence in batch-normalized models //Advances in BatchNeural Information Processing Systems. – 2017. – С. 1945-Normalized Models1953.]</ref> было представлено расширение метода нормализации батчей: ренормализация батчей (англ. Batch Renormalization). Данный метод улучшает нормализацию батчей, когда размер батчей мал и не состоит из независимых данных.# Метод потоковой нормализации (англ. Streaming Normalization) был предложен в <ref>[https://arxiv.org/pdf/1610.06160.pdf Liao Q., Kawaguchi K., Poggio T. Streaming Normalizationnormalization: Towards Simpler simpler and More Biologicallymore biologically-plausible Normalizations normalizations for Online online and Recurrent Learningrecurrent learning //arXiv preprint arXiv:1610.06160. – 2016.]</ref>. Данные метод убирает два ограничения нормализации батчей: использование при online-обучении и использование в рекуррентных нейронных сетях.