25
правок
Изменения
fix links having no names
сети, например метки класса. Впервые данный метод был представлен для
индивидуальной нормализации в
<ref name="A Learned Representation for Artistic Style">[{{cite web |url=https://arxiv.org/pdf/1610.07629.pdf |title=A Learned Representation for Artistic Style]}}</ref>.
Позднее он был использован для пакетной нормализации в
<ref name="Modulating early visual processing by language">[https://arxiv.org/pdf/1707.00683v3.pdf Modulating early visual processing by language]</ref>.
Есть другой способ: можно вместе с настройкой сети обучать алгоритм выбора
параметров <tex>PARAMS</tex> сжатия и сдвига по заданному входу: <tex>(\beta_c,
\gamma_c) = PARAMS(x)</tex>. К примеру, в работе <ref name="[https://arxiv.org/pdf/1707.00683v3.pdf Modulating earlyvisual processing by language"/> ]в качестве <tex>PARAMS</tex> используется
[[Нейронные_сети, перцептрон#Классификация перцептронов | многослойный перцептрон по Румельхарту с одним скрытым слоем]].
Таким образом, характеристики <tex>x</tex> могут изменить выход целого слоя. Это
===В применении к переносу стиля===
[[file:style-transfer-example.png|300px|thumb|Рисунок 4. Перенесения стиля с картины Клода Моне "Рыбацкие лодки" (слева) на изображение человека (справа). Иллюстрация из <ref name="A Learned Representation for Artistic Style"/>.]]
Популярной задачей является отрисовка данного изображения в стиле какой-то заданной картины, как на Рисунке 4. Одно из популярных и достаточно быстрых решений этой задачи использует простые нейронные сети [[Нейронные сети, перцептрон#Сети прямого распространения | прямого распространения]]. Это решение имеет недостаток: каждая сеть может переносить лишь один стиль. Если мы хотим научиться переносить <tex>N</tex> стилей, то надо обучать <tex>N</tex> различных сетей. Однако лишь небольшое количество параметров этих сетей отвечает за индивидуальные особенности стиля. Хотелось бы уметь переиспользовать остальные параметры.
====Добавление условности====
В <ref name="[https://arxiv.org/pdf/1610.07629.pdf A Learned Representation for Artistic Style"/> ] был получен удивительный результат: для моделирования какого-то стиля, достаточно специализировать параметры сжатия и сдвига нормализации для каждого конкретного стиля. Таким образом, давайте для каждого изображения стиля <tex>s</tex> будем учитывать свои <tex>\gamma_c</tex> и <tex>\beta_c</tex>. Таким образом, у нас будет лишь два (вектора) параметров, специфичных для каждого стиля, а все остальные — общие.
Такой подход имеет много преимуществ по сравнению с наивным:
