25
правок
Изменения
add more complete conditional batch normalization description
<ref name="Modulating early visual processing by language">[https://arxiv.org/pdf/1707.00683v3.pdf Modulating early visual processing by language]</ref>.
Зачем нужно делать параметры нормализации зависимостью? На практике быловыяснено <ref name="A Learned Representation for Artistic Style"/>, что иногданейронные сети, натренированные решать разные задачи из одного класса, имеютсхожие веса и достаточно лишь слегка поменять параметры сжатия и сдвига послекаждого слоя. Таким образом, добавив условную нормализацию, мы научимся решатьсразу несколько задач используя одну сеть. ==Перенос =Описание метода=== Самой важной частью метода является ''выбрать'' для входа <tex>x</tex> параметры<tex>\beta_c</tex> и <tex>\gamma_c</tex>. Возможные способы сделать это описаныниже. Единожды параметры выбраны, формула не отличается от приведённой впараграфе [[Batch-normalization#Описание метода]]: <tex>y = \gamma_c \cdot \hat{x} + \beta_c \;\; (1)</tex>. ===Выбор параметров нормализации=== Есть несколько способов выбрать параметры. Самой простой из них — разделитьпредметную область на <tex>C</tex> частей. Для каждого слоя надо добавитьсоответствующие параметры <tex>\beta_c, \gamma_c \; , c \in 1..C</tex> инастраивать их вместе с остальными параметрами модели. Когда мы тренируем наданных из <tex>i</tex>-ой части, мы явно указываем, что в формуле (1) <tex>c =i</tex>. Когда мы хотим осуществить предсказание, мы снова явно указываемжелаемый <tex>c</tex> и в вычислениях используются соответствующие параметры. Есть другой способ: можно вместе с настройкой сети обучать алгоритм выборапараметров <tex>PARAMS</tex> сжатия и сдвига по заданному входу: <tex>(\beta_c,\gamma_c) = PARAMS(x)</tex>. К примеру, в работе <ref name="Modulating earlyvisual processing by language"/> в качестве <tex>PARAMS</tex> используется[[Нейронные_сети, перцептрон#Классификация перцептронов | многослойный перцептрон по Румельхарту с одним скрытым слоем]].Таким образом, характеристики <tex>x</tex> могут изменить выход целого слоя. Этобывает полезно, если верна гипотеза, что структура входных векторов связана сжелаемым результатом работы. ===В применении к переносу стиля===
[[file:style-transfer-example.png|300px|thumb|Рисунок 4. Перенесения стиля с картины Клода Моне "Рыбацкие лодки" (слева) на изображение человека (справа). Иллюстрация из <ref name="A Learned Representation for Artistic Style"/>.]]
