210
правок
Изменения
→Обучение нейронных сетей с нормализацией батчей
==Обучение нейронных сетей с нормализацией батчей==
[[Файл:BNcircuit.png|800px|thumb|Схема обработки слоя нормализации батчей алгоритмом обратного распространения ошибки. Слева-направо черными стрелками показана работа алгоритма в прямом направлении. А справа-налево красными стрелками {{---}} в обратном направлении. ]]
Для обучения нейронных сетей необходимо вычислять градиент функции потерь. В случае использования метода нормализации батчей градиент вычисляется следующим образом:
<tex>\displaystyle \frac{\partial l}{\partial \beta} = \sum_{i=1}^{m}\frac{\partial l}{\partial y_{i}}</tex>
==Нормализация батчей в свёрточных сетях==
