25
правок
Изменения
move instance normalization to a separate paragraph
В случае свёрточных сетей, дополнительно необходима нормализация, чтобы удовлетворить свойство свёрточных сетей, что различные элементы в разных местах одной карты признаков (образ операции свёртки, англ. feature map) должны быть нормализованы одинаково. Чтобы этого добиться, нормализация выполняется совместно над всеми значениями в пакете. Пусть <tex>B</tex> {{---}} множество всех значений в карте признаков по всему пакету и всем точкам в карте признаков. Тогда для пакета размера <tex>m</tex> и карты признаков размера <tex>p \times q</tex> размер <tex>B</tex> равен <tex>m'=|B|=m \cdot pq</tex>. Тогда параметры <tex>\gamma^{(k)}</tex> и <tex>\beta^{(k)}</tex> настраиваются для каждой карты признаков отдельно.
==Индивидуальная нормализация==
[[file:types-of-normalization.png|300px|thumb|Рисунок 3. Типы нормализации. Ось N
— по объектам в пакете, ось C — по картам признаков (channels), оставшаяся ось —
по пространственным измерениям объектов, например, ширине и высоте картинки.
Иллюстрация из
[https://medium.com/syncedreview/facebook-ai-proposes-group-normalization-alternative-to-batch-normalization-fb0699bffae7 статьи].]]
При пакетной нормализации происходит усреднение параметров по всему пакету.
Например, в случае задачи переноса стилей картин, это вносит много шума. При
усреднении теряются индивидуальные характеристики объектов. Поэтому используется
более тонкая нормализация — индивидуальная нормализация (англ. instance
normalization). Разница заключается в том, что нормализация происходит по
каждому отдельному объекту, а не по всему пакету. Для примера, усреднение
происходит по пикселям картины, но не по всем картинам в пакете, как видно на
Рисунке 3.
==Условная пакетная нормализация==
===Перенос стиля===
[[file:style-transfer-example.png|300px|thumb|Рисунок 34. Перенесения стиля с картины Клода Моне "Рыбацкие лодки" (слева) на изображение человека (справа). Иллюстрация из <ref>[https://arxiv.org/pdf/1610.07629.pdf A Learned Representation for Artistic Style]</ref>.]] Популярной задачей является отрисовка данного изображения в стиле какой-то заданной картины, как на Рисунке 3. Одно из популярных и достаточно быстрых решений этой задачи использует простые нейронные сети [[Нейронные сети, перцептрон#Сети прямого распространения | прямого распространения]]. Однако это решение имеет недостаток: каждая сеть может переносить лишь один стиль. Если мы хотим научиться переносить <tex>N</tex> стилей, то надо обучать <tex>N</tex> различных сетей. Однако лишь небольшое количество параметров этих сетей отвечает за индивидуальные особенности стиля. Хотелось бы уметь переиспользовать остальные параметры. ===Индивидуальная нормализация===[[file:types-of-normalization.png|300px|thumb|Рисунок 4. Типы нормализации. Ось N — по объектам в пакете, ось C — по картам признаков (channels), оставшаяся ось — по пространственным измерениям объектов, например, ширине и высоте картинки. Иллюстрация из [https://medium.com/syncedreview/facebook-ai-proposes-group-normalization-alternative-to-batch-normalization-fb0699bffae7 статьи].]]
===Добавление условности===
