74
правки
Изменения
Нет описания правки
Следовательно, имеет смысл использовать разницу в значении представления признаков сгенерированного изображения по содержанию и по стилю изображения, чтобы направлять итерации, через которые мы производим само сгенерированное изображение, но как убедиться, что изображение с контентом '''C''' и сгенерированное изображение '''G''' похожи по своему содержанию, а не по стилю, в то время как сгенерированное изображение наследует только похожее представление стиля изображения стиля '''S''', а не само изображение стиля в целом. Это решается разделением функции потерь на две части: одна {{---}} потеря контента, а другая {{---}} потеря стиля.
==Производные NST==
Чтобы автоматически передать художественный стиль, первая и самая важная проблема заключается в том, как смоделировать и извлечь стиль из изображения. Так как стиль очень связан с текстурой, простой способ - связать '''визуальное моделирование стилей''' (англ. ''Visual Style Modelling'') с ранее хорошо изученными методами '''визуального моделирования текстур''' (англ. ''Visual Texture Modelling''). После получения представления стиля следующая проблема состоит в том, как восстановить изображение с информацией о желаемом стиле, сохранив его содержимое, что решается с помощью '''методов восстановления изображения''' (англ. ''Image Reconstruction techniques'').
===Visual Texture Modelling===
====Parametric Texture Modelling with Summary Statistics====
Одним из путей к моделированию текстуры является сбор статистики изображения из образца текстуры и использование сводных статистических свойств для моделирования текстуры. Создается представление на основе Грам для текстур модели, которое представляет собой корреляцию между откликами фильтра в различных слоях предварительно обученной классификационной сети (сеть VGG). Основанное на Грамах кодирует статистику второго порядка набора ответов фильтра CNN.
Предположим, что карта объектов образца изображения текстуры <math>I_{s}</math> на слое <math>l</math> предварительно обученной модели:
<math>mathcal{F}^l(I_{s}) \in \mathbb{R} ^ {C \times H \times W}</math>, где <math>С</math> {{---}} количество каналов, <math>H</math> и <math>W</math> {{---}} высота и ширина карты объектов <math>mathcal{F}^l(I_{s})</math>
Тогда представление на основе Грама может быть получено путем вычисления матрицы Грама <math>G(mathcal{F}^l(I_{s})^\prime) \in \mathbb{R} ^ {C \times C}</math> на карте объектов <math>mathcal{F}^l(I_{s})^\prime \in \mathbb{R} ^ {C \times HW}</math> :
<math>G(mathcal{F}^l(I_{s})^\prime) = [mathcal{F}^l(I_{s})^\prime][mathcal{F}^l(I_{s})^\prime]^T</math>
====Non-parametric Texture Modelling with Markov Random Fields (MRFs)====
Другой известной методологией моделирования текстур является использование непараметрического ресемплирования(resampling). Различные непараметрические методы основаны на модели MRF, которая предполагает, что в текстурном изображении каждый пиксель полностью характеризуется своей пространственной окрестностью. Предлагается синтезировать каждый пиксель один за другим путем поиска похожих окрестностей в исходном текстурном изображении и назначения соответствующего пикселя. Ускорить процесс сопоставления окрестностей можно всегда используя фиксированную окрестность.
===Image Reconstruction techniques===
==Классификация методов NST==
