Изменения
ться
Кроме того, использование пакетной нормализации обладает еще несколькими дополнительными полезными свойствами:
* достигается более быстрая сходимость моделей, несмотря на выполнение дополнительных вычислений;
* пакетная нормализация позволяет каждому слою сети обучатся обучаться более независимо от других слоев;
* становится возможным использование более высокого темпа обучения, так как пакетная нормализация гарантирует, что выходы узлов нейронной сети не будут иметь слишком больших или малых значений;
* пакетная нормализация в каком-то смысле также является механизмом регуляризации: данный метод привносит в выходы узлов скрытых слоев некоторый шум, аналогично методу [[Практики реализации нейронных сетей#Dropout|dropout]];