Изменения
→Идея
==Идея==
[[Файл:covariate-shift1.png|600px|thumb|Рисунок 1. Верхние две строки роз показывают первое подмножество данных, а нижние две строки показывают другое подмножество. Два подмножества имеют довольно различные распределенияразные пропорции изображения роз. На графиках показано распределение двух классов в пространстве объектов с использованием красных и зеленых точек. Синяя линия показывает границу между двумя классами. Иллюстрация из [https://www.learnopencv.com/batch-normalization-in-deep-networks/ статьи].]]
Нормализация входного слоя нейронной сети обычно выполняется путем масштабирования данных, подаваемых в функции активации. Например, когда есть признаки со значениями от <tex>0</tex> до <tex>1</tex> и некоторые признаки со значениями от <tex>1</tex> до <tex>1000</tex>, то их необходимо нормализовать, чтобы ускорить обучение. Нормализацию данных можно выполнить и в скрытых слоях нейронных сетей, что и делает метод пакетной нормализации.
Пусть есть [[Глубокое обучение|глубокая нейронная сеть]], которая обучена определять находится ли на изображении роза.
И нейронная сеть была обучена на изображениях только красных роз.
Теперь, если попытаться использовать обученную модель для обнаружения цветных розразличных цветов, то, очевидно, результат точность работы модели будет неудовлетворительныйнеудовлетворительной.Так как Это происходит из-за того, что обучающая и тестовая выборки содержат изображения красных роз, но немного отличаютсяи роз различных цветов в разных пропорциях. Другими словами, если модель обучена отображению из множества <tex>X</tex> в множество <tex>Y</tex> и если [[wikipedia:ru:Распределение_вероятностей|распределение]] пропорция элементов в <tex>X</tex> изменяется, то появляется необходимость обучить модель заново, чтобы "выровнять" распределение пропорции элементов в <tex>X</tex> и <tex>Y</tex>. Когда пакеты содержат изображенияразных классов, равномерно-распределенные в одинаковой пропорции на всем множестве, то смещение ковариации незначительно. Однако, когда пакеты выбираются только из одного из двух подмножеств (в данном случае, красные розы и цветные розыразличных цветов), то смещение ковариации возрастает. Это довольно сильно замедляет процесс обучения модели. На Рисунке 1 изображена разница в распределенияхпропорциях.
Простой способ решить проблему смещения ковариации для входного слоя {{---}} это случайным образом перемешать данные перед созданием пакетов.
