Изменения

Перейти к: навигация, поиск

Batch-normalization

Нет изменений в размере, 20:44, 7 января 2019
Нет описания правки
где математическое ожидание и дисперсия считаются по всей обучающей выборке. Такая нормализация входа слоя нейронной сети может изменить представление данных в слое. Чтобы избежать данной проблемы, вводятся два параметра сжатия и сдвига нормализованной величины для каждого <tex>x_{k}</tex>: <tex>\gamma_{k}</tex>, <tex>\beta_{k}</tex> {{---}} которые действуют следующим образом:
<tex>y^{(k_k)} = \gamma^{(k)} \hat{x}^{(k)} + \beta^{(k)}</tex>.
Данные параметры настраиваются в процессе обучения вместе с остальными гиперпараметрами модели.
210
правок

Навигация