210
правок
Изменения
→Обучение нейронных сетей с нормализацией батчей
==Обучение нейронных сетей с нормализацией батчей==
[[Файл:BNcircuit.png|800px|thumb|Схема обработки слоя нормализации батчей алгоритмом обратного распространения ошибки. Слева-направо черными стрелками показана работа алгоритма в прямом направлении. А справа-налево красными стрелками {{---}} в обратном направлении, где вычисляется градиент функции потерь. Здесь <tex>N=m</tex> и <tex>D=d</tex>]]
Для обучения нейронных сетей необходимо вычислять градиент функции потерь <tex>l</tex>. В случае использования метода нормализации батчей градиент вычисляется следующим образом:
