Изменения

Перейти к: навигация, поиск

Batch-normalization

1641 байт добавлено, 14:58, 22 января 2019
Обучение нейронных сетей с пакетной нормализацией
</gallery>
* Шаг 9: Сначала вычисляется градиент параметра <tex>\beta</tex>, как в уравнении <tex>(6)</tex>, так как к нему применяется только операции суммирования. И значение градиента выхода передается без изменений.  * Шаг 8: Далее, пользуясь правилом вычисления производной при умножении, как в уравнении <tex>(5)</tex> , вычисляется градиент параметра <tex>\gamma</tex>, и градиент выхода умножается на данную константу.* Шаг 7: Данный шаг вычисляется аналогично предыдущему, получая уравнение <tex>(1)</tex>.* Шаг 6: Пользуясь производной обратной величины, вычисляем следующий узел графа.* Шаг 5: Вычисляем производную квадратного корня с добавлением <tex>\epsilon</tex>.* Шаг 4: Вычисляем производную суммы по всем компонентам входного вектора, получая матрицу.* Шаг 3: Получаем производную квадрата.* Шаг 2: На данном шаге в одном узле сходятся ветки, поэтому полученные производные просто складываются, получая уравнение <tex>(2)</tex> для дисперсии.* Шаг 1: Аналогично шагу 4 вычисляем матрицу по сумме для производной по математическому ожиданию, получая формулу <tex>(3)</tex>.* Шаг 0: В начальной вершине получаем уравнение <tex>(4)</tex>, складывая входящие производные.
==Пакетная нормализация в [[Сверточные нейронные сети | свёрточных сетях]]==
210
правок

Навигация