Изменения
→Обучение нейронных сетей с пакетной нормализацией
! Шаг !! Изображение !! Описание
|-
| style = "text-align: center" |1
|[[Файл:step9.png|300px]]
|Сначала вычисляется производная по параметру <tex>\beta</tex>, как в уравнении <tex>(6)</tex>, так как к нему применяется только операции суммирования. И значение градиента выхода передается без изменений.
|-
| style = "text-align: center" |2
|[[Файл:step8.png|300px]]
|Далее, пользуясь правилом вычисления производной при умножении, как в уравнении <tex>(5)</tex>, вычисляется градиент по параметру <tex>\gamma</tex>. Градиент выхода умножается на данную константу, получая уравнение <tex>(1)</tex>, и передается в следующий узел.
|-
| style = "text-align: center" |3
|[[Файл:step7.png|300px]]
|Данный шаг вычисляется аналогично предыдущему, применяя правило вычисления производной при умножении.
|-
| style = "text-align: center" |4
|[[Файл:step6.png|300px]]
|Пользуясь производной обратной величины, вычисляем следующий узел графа.
|-
| style = "text-align: center" |5
|[[Файл:step5.png|300px]]
|Вычисляем производную квадратного корня с добавлением <tex>\epsilon</tex>.
|-
| style = "text-align: center" |6
|[[Файл:step4.png|300px]]
|Вычисляем производную суммы по всем компонентам входного вектора, получая матрицу.
|-
| style = "text-align: center" |7
|[[Файл:step3.png|300px]]
|Получаем производную квадрата входящей функции.
|-
| style = "text-align: center" |8
|[[Файл:step2.png|300px]]
|На данном шаге в одном узле сходятся ветки, поэтому полученные производные просто складываются, получая уравнение <tex>(2)</tex> для производной по дисперсии.
|-
| style = "text-align: center" |9
|[[Файл:step1.png|300px]]
|Аналогично шагу 6 вычисляем матрицу по сумме для производной по математическому ожиданию, получая формулу <tex>(3)</tex>.
|-
| style = "text-align: center" |10
|[[Файл:step0.png|300px]]
|В начальной вершине получаем уравнение <tex>(4)</tex>, складывая входящие производные.
