Изменения
Нет описания правки
<tex>y^{(k)} = \gamma^{(k)} \hat{x}^{(k)} + \beta^{(k)}</tex>.
Данные параметры настраиваются в процессе обучения вместе с остальными [[Настройка гиперпараметров|гиперпараметрами ]] модели.
Пусть, обучение модели производится с помощью батчей <tex>B</tex> размера <tex>m</tex>: <tex>B = \{x_{1,\ldots, m}\}</tex>. Здесь нормализация применяется к каждой компоненте входа с номером <tex>k</tex> отдельно, поэтому в <tex>x^{(k)}</tex> индекс опускается для ясности изложения. Пусть, были получены нормализованные значения батча <tex>\hat{x}_{1,\ldots, m}</tex>. Далее, после применения операций сжатия и сдвига были получены <tex>y_{1,\ldots, m}</tex>. Обозначим данную функцию нормализации батчей следующим образом:
