Изменения

Перейти к: навигация, поиск

Batch-normalization

33 байта добавлено, 8 январь
fix reference links
сети, например метки класса. Впервые данный метод был представлен для
индивидуальной нормализации в
<refname="A Learned Representation for Artistic Style">[https://arxiv.org/pdf/1610.07629.pdf A Learned Representation for Artistic Style]</ref>.
Позднее он был использован для пакетной нормализации в
<refname="Modulating early visual processing by language">[https://arxiv.org/pdf/1707.00683v3.pdf Modulating early visual processing by language]</ref>.
===Перенос стиля===
[[file:style-transfer-example.png|300px|thumb|Рисунок 4. Перенесения стиля с картины Клода Моне "Рыбацкие лодки" (слева) на изображение человека (справа). Иллюстрация из <ref>[https://arxiv.org/pdf/1610.07629.pdf name="A Learned Representation for Artistic Style]<"/ref>.]]
Популярной задачей является отрисовка данного изображения в стиле какой-то заданной картины, как на Рисунке 4. Одно из популярных и достаточно быстрых решений этой задачи использует простые нейронные сети [[Нейронные сети, перцептрон#Сети прямого распространения | прямого распространения]]. Однако это решение имеет недостаток: каждая сеть может переносить лишь один стиль. Если мы хотим научиться переносить <tex>N</tex> стилей, то надо обучать <tex>N</tex> различных сетей. Однако лишь небольшое количество параметров этих сетей отвечает за индивидуальные особенности стиля. Хотелось бы уметь переиспользовать остальные параметры.
===Добавление условности===
В <ref>[https://arxiv.org/pdf/1610.07629.pdf name="A Learned Representation for Artistic Style]<"/ref> был получен удивительный результат: для моделирования какого-то стиля, достаточно специализировать параметры сжатия и сдвига нормализации для каждого конкретного стиля. Таким образом, давайте для каждого изображения стиля <tex>s</tex> будем учитывать свои <tex>\gamma_s</tex> и <tex>\beta_s</tex>. Таким образом, у нас будет лишь два (вектора) параметров, специфичных для каждого стиля, а все остальные — общие.
Такой подход имеет много преимуществ по сравнению с наивным:
25
правок

Навигация