210
правок
Изменения
Нет описания правки
[[Файл:BNcircuit.png|800px|thumb|Рисунок 2. Схема обработки слоя нормализации батчей алгоритмом обратного распространения ошибки. Слева-направо черными стрелками показана работа алгоритма в прямом направлении. А справа-налево красными стрелками {{---}} в обратном направлении, где вычисляется градиент функции потерь. Здесь <tex>N=m</tex> и <tex>D=d</tex>]]
Для обучения нейронных сетей необходимо вычислять [[wikipedia:ru:Градиент|градиент ]] функции потерь <tex>l</tex>. В случае использования метода нормализации батчей градиент вычисляется следующим образом:
<tex>\displaystyle \frac{\partial l}{\partial \hat{x}_{i}} = \frac{\partial l}{\partial y_{i}} \cdot \gamma</tex>
