210
правок
Изменения
→Обучение нейронных сетей с нормализацией батчей
==Обучение нейронных сетей с нормализацией батчей==
[[Файл:BNcircuit.png|800px|thumb|Схема обработки слоя нормализации батчей алгоритмом обратного распространения ошибки. Слева-направо черными стрелками показана работа алгоритма в прямом направлении. А справа-налево красными стрелками {{---}} в обратном направлении, где вычисляется градиент функции потерь. ]]
Для обучения нейронных сетей необходимо вычислять градиент функции потерь<tex>l</tex>. В случае использования метода нормализации батчей градиент вычисляется следующим образом:
<tex>\displaystyle \frac{\partial l}{\partial \hat{x}_{i}} = \frac{\partial l}{\partial y_{i}} \cdot \gamma</tex>
