210
правок
Изменения
→Идея
* нормализация батчей позволяет каждому слою сети обучатся более независимо от других слоев;
* становится возможным использование более высокого коэффициента скорости обучения, так как нормализация батчей гарантирует, что выходы узлов нейронной сети не будут иметь слишком больших или малых значений;
* нормализация батчей в каком-то смысле также является механизмом [[wikipedia:ru:Регуляризация_(математика)|регуляризации]]: данный метод привносит в выходы узлов скрытых слоев некоторый шум, аналогично методу [[Практики реализации нейронных сетей#Dropout|dropout]];
* модели становятся менее чувствительны к начальной инициализации весов.
