Изменения

Перейти к: навигация, поиск

Batch-normalization

177 байт добавлено, 2 январь
м
Добавление источника для условной нормализации
===Перенос стиля===
[[file:style-transfer-example.png|300px|thumb|Рисунок 3. Перенесения стиля с картины Клода Моне "Рыбацкие лодки" (слева) на изображение человека (справа). Иллюстрация из <ref>[https://arxiv.org/pdf/1610.07629.pdfA Learned Representation for Artistic Style]</ref>.]]
Популярной задачей является отрисовка данного изображения в стиле какой-то заданной картины, как на Рисунке 3. Одно из популярных и достаточно быстрых решений этой задачи использует простые нейронные сети с прямой связью. Однако это решение имеет недостаток: каждая сеть может переносить лишь один стиль. Если мы хотим научиться переносить <tex>N</tex> стилей, то надо обучать <tex>N</tex> различных сетей. Однако лишь небольшое количество параметров этих сетей отвечает за индивидуальные особенности стиля. Хотелось бы уметь переиспользовать остальные параметры.
===Добавление условности===
В <ref>[https://arxiv.org/pdf/1610.07629.pdfA Learned Representation for Artistic Style]</ref> был получен удивительный результат: для моделирования какого-то стиля, достаточно специализировать параметры сжатия и сдвига нормализации для каждого конкретного стиля. Таким образом, давайте для каждого изображения стиля <tex>s</tex> будем учитывать свои <tex>\gamma_s</tex> и <tex>\beta_s</tex>. Таким образом, у нас будет лишь два (вектора) параметров, специфичных для каждого стиля, а все остальные — общие.
Такой подход имеет много преимуществ по сравнению с наивным:
* [https://www.learnopencv.com/batch-normalization-in-deep-networks/ Batch Normalization in Deep Networks]
* [https://github.com/udacity/deep-learning/blob/master/batch-norm/Batch_Normalization_Lesson.ipynb Batch Normalization {{---}} Lesson]
* [https://arxiv.org/pdf/1610.07629.pdf A Learned Representation for Artistic Style]
[[Категория: Машинное обучение]]
25
правок

Навигация