Изменения

Перейти к: навигация, поиск

Batch-normalization

41 байт добавлено, 10:41, 14 января 2019
Модификации
# Джимми Лей Ба<ref>[https://arxiv.org/pdf/1607.06450.pdf Ba J. L., Kiros J. R., Hinton G. E. {{---}} Layer normalization, 2016]</ref> предложил метод нормализации слоев (англ. Layer Normalization), который решает проблему выбора размера батча.
# В работе Сергея Иоффе<ref>[https://arxiv.org/pdf/1702.03275.pdf Ioffe S. {{---}} Batch renormalization: Towards reducing minibatch dependence in batch-normalized models, 2017]</ref> было представлено расширение метода нормализации батчей: ренормализация батчей (англ. Batch Renormalization). Данный метод улучшает нормализацию батчей, когда размер батчей мал и не состоит из независимых данных.
# Метод потоковой нормализации (англ. Streaming Normalization) был предложен Кифэн Ляо<ref>[https://arxiv.org/pdf/1610.06160.pdf Liao Q., Kawaguchi K., Poggio T. {{---}} Streaming normalization: Towards simpler and more biologically-plausible normalizations for online and recurrent learning, 2016]</ref>. Данный метод убирает два ограничения нормализации батчей: использование при [[wikipedia:ru:Online_machine_learning|online-обучении ]] и использование в рекуррентных нейронных сетях.
==См. также==
Анонимный участник

Навигация