Изменения

Перейти к: навигация, поиск

Batch-normalization

46 байт убрано, 17:40, 28 января 2019
Ковариантный сдвиг
Но для скрытых слоев нейронной сети такой метод не подходит, так как распределение входных данных для каждого узла скрытых слоев изменяется каждый раз, когда происходит обновление параметров в предыдущем слое.
Эта проблема называется '''внутренним ковариантным сдвигом''' (англ. internal covariate shift).
Для решения данной проблемы часто приходится использовать низкий [[Стохастический градиентный спуск|темп обучения]]<sup>[на 10.01.18 не создано]</sup> (англ. learning rate) и методы [[wikipedia:ru:Регуляризация_(математика)|регуляризации]] при обучении модели.
Другим способом устранения внутреннего ковариантного сдвига является метод пакетной нормализации.
333
правки

Навигация