Изменения
→Идея
Но для скрытых слоев нейронной сети такой метод не подходит, так как распределение входных данных для каждого узла скрытых слоев изменяется каждый раз, когда происходит обновление параметров в предыдущем слое.
Эта проблема называется '''внутренним смещением ковариации''' (англ. internal covariate shift).
Для решения данной проблемы часто приходится использовать маленький коэффициент скорости низкий [[Стохастический градиентный спуск|темп обучения ]]<sup>[на 10.01.18 не создано]</sup> (англ. learning rate) и методы [[wikipedia:ru:Регуляризация_(математика)|регуляризации ]] при обучении модели.
Другим способом устранения внутреннего смещения ковариации является метод пакетной нормализации.
* достигается более быстрая сходимость моделей, несмотря на выполнение дополнительных вычислений;
* пакетная нормализация позволяет каждому слою сети обучатся более независимо от других слоев;
* становится возможным использование более высокого коэффициента скорости темпа обучения, так как пакетная нормализация гарантирует, что выходы узлов нейронной сети не будут иметь слишком больших или малых значений;* пакетная нормализация в каком-то смысле также является механизмом [[wikipedia:ru:Регуляризация_(математика)|регуляризации]]: данный метод привносит в выходы узлов скрытых слоев некоторый шум, аналогично методу [[Практики реализации нейронных сетей#Dropout|dropout]];
* модели становятся менее чувствительны к начальной инициализации весов.
