210
правок
Изменения
Нет описания правки
'''Нормализация батчей''' (англ. batch-normalization) {{---}} это метод, который позволяет повысить производительность и стабилизировать работу [[Нейронные сети, перцептрон | искусственных нейронных сетей]]<sup>[на 10.01.18 не создан]</sup>. Суть данного метода заключается в том, что некоторым слоям нейронной сети на вход подаются данные, предварительно обработанные и имеющие нулевое [[Математическое ожидание случайной величины|математическое ожидание]] и единичную [[Дисперсия случайной величины|дисперсию]]. Впервые данный метод был представлен в <ref>[https://arxiv.org/pdf/1502.03167.pdf Ioffe S., Szegedy C. {{---}} Batch normalization: Accelerating deep network training by reducing internal covariate shift]</ref>.
==Идея==
<tex>y^{(k)} = \gamma^{(k)} \hat{x}^{(k)} + \beta^{(k)}</tex>.
Данные параметры настраиваются в процессе обучения вместе с остальными [[Настройка гиперпараметров|гиперпараметрами]] <sup>[на 10.01.18 не создан]</sup> модели.
Пусть, обучение модели производится с помощью батчей <tex>B</tex> размера <tex>m</tex>: <tex>B = \{x_{1,\ldots, m}\}</tex>. Здесь нормализация применяется к каждой компоненте входа с номером <tex>k</tex> отдельно, поэтому в <tex>x^{(k)}</tex> индекс опускается для ясности изложения. Пусть, были получены нормализованные значения батча <tex>\hat{x}_{1,\ldots, m}</tex>. Далее, после применения операций сжатия и сдвига были получены <tex>y_{1,\ldots, m}</tex>. Обозначим данную функцию нормализации батчей следующим образом:
==Модификации==
Существует несколько модификаций и вариаций метода нормализации батчей:
# В работе <ref>[https://arxiv.org/pdf/1603.09025.pdf Cooijmans T. {{---}} Recurrent batch normalization]</ref> был предложен способ применения нормализации батчей к [[Рекуррентные нейронные сети|рекуррентным нейронным сетям]]<sup>[на 10.01.18 не создан]</sup>.
# Расширение метода нормализации батчей было предложено в <ref>[https://arxiv.org/pdf/1804.08450.pdf Huang L. {{---}} Decorrelated Batch Normalization]</ref>. Метод получил название декоррелированная нормализация батчей (англ. Decorrelated Batch Normalization). В данном методе кроме операций масштабирования и сдвига была предложено использование специальной функции затирания данных.
# В <ref>[https://arxiv.org/pdf/1607.06450.pdf Ba J. L., Kiros J. R., Hinton G. E. {{---}} Layer normalization]</ref> был предложен метод нормализации слоев (англ. Layer Normalization), который решает проблему выбора размера батча.
*[[:Глубокое обучение|Глубокое обучение]]
*[[:Практики реализации нейронных сетей|Практики реализации нейронных сетей]]
*[[:Настройка глубокой сети|Настройка глубокой сети]]<sup>[на 10.01.18 не создан]</sup>
== Примечания ==
