Изменения

[[Файл:Poisson int1.png|thumb|right|300px|Рис. $1.1$. : Пример перепада яркости при простой вставке<ref name='ZWS20'/>]][[Файл:Poisson int2.png|thumb|right|300px|Рис. $1.2$. : Результат применения блендинга Пуассона<ref name='ZWS20'/>]]

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например, сымитировать мазки кистью(Рис. $2$). Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

[[Файл:LPSB18_Figure_1.png|1000px|thumb|center|Рис. $2$: Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> ($3$ картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> ($4$ картинка)]]

<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Рис. $3.2$: Результаты после второго прохода<ref name="WRB17"/>]]</div><div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Рис. $3.1$: Результаты после первого прохода<ref name="WRB17"/>]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями(Рис. $3.1$). Здесь используется алгоритм $IndependentMapping$ для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).

[[Файл:LPSB18_Figure_5c.png|thumb|right|250px|Рис. $4.1$: Только первый проход<!--ref name="WRB17"/>]][[Файл:LPSB18_Figure_2cLPSB18_Figure_5d.png|thumb|right|250px|Рис. $4.2$: Только второй проход<ref name="WRB17"/>]][[Файл:LPSB18_Figure_5f.png|thumb|right|Результаты после второго 250px|Рис. $4.3$: Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$<ref name="WRB17"/>]][[Файл:LPSB18_Figure_5g.png|thumb|right|250px|Рис. $4.4$: Оба прохода<ref name="WRB17"/>]]--[[Файл:LPSB18_Figure_5h.png|thumb|right|250px|Рис. $4.5$: Финальный результат<ref name="WRB17"/>]]

Второй проход делает более качественную гармонизацию после первого прохода(Рис. $3.2$). Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (таким образом мы хотим переносить сложные текстуры более качественно, например, мазки кистью). Если применять второй проход сразу, то результаты получаются хуже (Рис. $4.2$).

При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты(Рис. $4.3$). Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём функцию потерь с такой модификацией $\mathcal{L}_{s1}$.

! | Рис. $4.1$: Только второй первый проход<ref name="WRB17"/>! | Рис. $4.2$: Только первый второй проход<ref name="WRB17"/>! | Рис. $4.3$: Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$<ref name="WRB17"/>| Рис. $4.4$: Оба прохода<ref name="WRB17"/>| Рис. $4.5$: Финальный результат<ref name="WRB17"/>

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Рис. $5$: Результат постобработки (без постобработки, после первой стадии, после второй стадии)<ref name="WRB17"/>]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты(Рис. $5$). Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):# Переведём изображение в цветовое пространство [https://en.wikipedia.org/wiki/CIELAB_color_space CIELAB$L*\alpha*\beta$] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Рис. $6$: Влияние $l_{ref}$ на результат<ref name="WRB17"/>]]

Возьмём $l_{ref}$ = conv4_1(что будет если использовать другие слои видно на Рис. $6$).

! '''Стилевое <br/> изображение $S$'''<ref name='ZWS20'/>

! '''Накладываемое <br/> изображение $I$'''<ref name='ZWS20'/>

'''Дискретный оператор Лапласа''' (фильтр Лапласа) $\mathbf{D}^2$ {{---}} аналог непрерывного оператора Лапласа $\nabla^2$, который позволяет выделять контуры изображения(Рис. $7.1$ и $7.2$).

!Рис. $7.1$:<br>Исходное изображение<ref>https://en.wikipedia.org/wiki/Lenna#/media/File:Lenna_(test_image).png</ref>!Рис. $7.2$:<br>Применение фильтра Лапласа

| [[Файл:Lenna.png|200px220px]]| [[Файл:Lenna_Laplacian_Neg.png|200px220px]]