Изменения

'''Гармонизация изображений''' (англ. ''image harmonization'') {{---}} метод, позволяющий наложить часть одного изображения поверх другого таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки и с соответсвующими цветами и текстурами <ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref>.}}*картинка (можно вставить картинку с дайвером, если сможем её обработать гармонизатором)* {{Определение|definition ='''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки и соответсвующими цветами и текстурами. В отличие от гармонизации, блендинг сам определяет какие пиксели фонового изображения нужно заменить.<ref name='ZWS20'/>}}*картинка с дайвером (там видноОсновная трудность задачи заключается в том, что пузырики с естественность результата зависит не только от бесшовности наложения, но и от схожести цветов и текстуры вставляемого и фонового изображения остались поверх дайвера)*изображений.

todo Note[[Файл: Блендинг Пуассона на самом деле является гармонизацией, так как требует маску заменяемых пикселейPoisson int1.png|thumb|right|250px|Рисунок $1. Почему-то в статьях его называют блендингом (Poisson blending), хотя оригинальная статья называлась Poisson Image Editing1$: Пример перепада яркости при простой вставке<ref name="PGB03"'ZWS20'/>]][[httpsФайл://wwwPoisson int2.cspng|thumb|right|250px|Рисунок $1.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)2$: Результат применения блендинга Пуассона<ref name='ZWS20'/ref>]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки(рисунок $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рисунок $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

todo Note'''Замечание: ''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $AS$ изображение, которое служит фоном, а за $BI$ {{---}} изображение, вставляемое поверх $AS$.Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:{| class="wikitable" style="background-color:#FFF; text-align:center"|-! Фоновое <br/> изображение $S$! Накладываемое <br/> изображение $I$! Маска $M$|-| [[Файл:Poisson_cat.jpg|155px]]| [[Файл:Poisson_cherry.jpg|155px]]| [[Файл:Poisson_cherry_mask.png|155px]]|}

=== Идея подхода ===Пусть замкнутое множество $p$ {P \subset \mathbb{---R}} координаты пикселя двухмерного изображения (т.е. $(x, y)$). $A_p^2$ {{---}} значения пикселя фонового область, на которой определено изображение, $B_pS$ {{---}} значение пикселя вставляемого изображения. Пусть , а замкнутое множество $\Omega\subset P$ {{---}} множество координат с границей $p\partial\Omega$, на которых определено вставляемое изображение и внутренностью $B$. $\partial int(\Omega)$ {{---}} координаты границы вставляемой областиобласть вставки изображения $I$.

Пусть $N_pf_S$ {{---}} множество соседей скалярная функция, определенная на $pP \setminus int(\Omega)$ (максимум четыре пикселя, имеющих общую границу с задает фоновое изображение $S$p; $, т.е. пиксели со следующими координатами: f$(x + 1, y), (x {{--- 1, y)}} неизвестная скалярная функция, определенная на $int(x, y + 1\Omega)$, (xзадает, y - 1)$)каким образом должно выглядеть результат блендинга в области вставки. Для всех пар $<p, q>$ таких, что $q \in N_p$, введем $v_{pq} = B_p - B_q$

Обозначим результат блендинга за $Ov_I$ {{---}} векторное поле, определенное на $\Omega$. Для того чтобы найти значение пикселей в месте наложения В качестве $Bv_I$ возьмем градиент вставляемого изображения $I$, решаем задачу минимизации:$v_I = \nabla f_I$.

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.$$\underset{f_p,\; p \in \Omegaf}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sumiint}|\; (O_p - O_q nabla f - v_{pq})v_I|^2$, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}.$O_p = A_p$ Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.$$p \in nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

Заметим=== Дискретный случай ===Пусть $p$ {{---}} координаты $(x, что функцияy)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$ {{---}} область, которую мы хотим минимизировать, квадратична относительно переменных заданная маской $M$. Тогда $O_p, p \in partial \Omega$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных{{---}} координаты границы вставляемой области, при которых частные производные будут равны нулюа $int(\Omega)$ {{---}} внутренность области.

Для Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p \in \Omega$, т.е. пиксели со следующими координатами: $\frac{\partial{\underset{p(x + 1, y), q \in \Omega}{\sum}\; (O_p x - O_q - v_{pq}1, y), (x, y + 1)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 , (O_p x, y - O_q - v_{pq}1)$) - \underset{. Для всех пар $(p, q \in N_p}{\sum} 2 (O_q - O_p - v_{qp}) = 2 \underset{$ таких, что $q \in N_p}{\sum} 2 (O_p - O_q - $, введем $v_{pq})= I_p - I_q$.

Приравнивая к нулюВведем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, получаем: пиксели $|N_p| O_p - , p \in \partial\underset{Omega$, сделаем равными $S_p$. Для $p, q \in N_p}{int(\sum} O_q = Omega),\underset{; q \in N_p}{\sum} $ постараемся найти такое $O$, чтобы разность $O_p$ и $O_q$ была близка к $v_{pq}$.Для этого решим задачу минимизации:

Для точек, граничащих с $\partial \Omega$: $|N_p| O_p - \underset{q O_p,\; p \in N_p \cap \Omega}{\summathrm{min}} O_q = \; \underset{p, q \in N_p \cap \partial \Omega}{\sum} A_q + \underset; \left(O_p - O_q - v_{q pq}\in N_p}{right)^2, \sum} v_text{pqгде }O_p = S_p, p \in \partial \Omega.$$.

Решаем систему уравнений Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и получаем найдем значения переменных, при которых частные производные будут равны нулю. $O_p$ для $\frac{\partial{\underset{p , q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right).$$.

todo: Поскольку система уравнений sparse symmetric positive-definedПриравнивая к нулю, можно использовать следующие итеративные алгоритмыполучаем: Gauss-Seidel, V$|N_p| O_p -cycle multigrid\underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

ЗаметимДобавим условие $O_p = S_p, что метод Пуассона сдвигает цвета накладываемого изображения и сохраняет свойства градиента p \in \partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap int(прям всегда? нужно подумоть\Omega), туду}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.htmlPoisson blending для самых маленьких</ref>

Another thing that we wish to remark is that even though poisson blending shifts the color of the source image==Нейронный перенос стиля=={{main|Neural Style Transfer}}Прежде чем переходить к гармонизации картин, it still preserves the features of itрассмотрим задачу нейронного переноса стиля с изображения $S$ на изображение $I$. In the original source image, f4 is smaller than f3, f5 is greater than f4, and so on, and this also applies to our recovered image. This information was encoded by the gradients of the source image. However, it is also important to realize that poisson blending does not exactly preserve the gradients. In the recovered image, the gradient f3,4 assumes the value 7−4=3, but it was 26−22Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name=4 in the original source image"SZ14">[https://arxiv. In the previous section, the gradients of the recovered image were identical to the gradients of the original imageorg/pdf/1409. But with poisson blending, the gradients of a completely different image are pasted into another image, and the result of this is that the solver is not always able to recover an image whose gradients exactly match the specified gradients1556. But the solver tries to find an image whose gradients match as close as possible, and in practice, poisson blending yields good resultspdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, which we shall show examples of in the following sectionAndrew Zisserman (2014)</ref> (конкретные слои указаны ниже в деталях реализации).

==Трансфер стиля== Прежде чем переходить к гармонизации картин, рассмотрим задачу трансфера стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref>. Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(O, I, S, O) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(O, I, S, O)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].

Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} выход матрица значений выхода $l$-го слоя сети на изображении $I$. Выход $l$-го слоя сети имеет размерность $N_l \times W_l \times H_l$. Представим его как матрицу $N_l \times M_l$, где $N_l$ {{---}} количество фильтров в $l$-ом слое, $M_l$ {{---}} количество признаков (высота, умноженная на ширину$M_l = W_l H_l$). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое. Столбец матрицы $F^l\left[I\right]$ размера $N_l$ назовём '''вектором активации'''.}}

'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений. В нашем случае матрица отражает корреляцию между выходами фильтров. $$G^l\left[IS\right] \in \mathcal{R}^{N_l \times N_l} ,$$$$G^l\left[S\right] = F^l\left[IS\right]F^l\left[IS\right]^T.$$.}} Далее рассмотренны функции потерь, которые мы будем использовать. ===Content loss===

===$F^l\left[https://rn-unisonI\right]$ отражает содержание изображения.githubМы хотим чтобы содержание результата было как можно ближе к исходной картинке.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks]<ref nameВведём для этого такую функцию потерь:$$\mathcal{L}_{content}(I, O) ="GEB16">\displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[https://rnI\right] -unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural NetworksF^l_{ij}\left[O\right] Leon A. Gatys\right)^2, Alexander S. Ecker, Matthias Bethge (2016)</ref>$$где $\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь.===

{{Определение|definition =$\mathcal{L}^{\alpha}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} (F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right])^2$ {{---}} функция потерь содержания, где $\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name="NotOriginalDef">Здесь используется определение функции потерь, которое отличается от статьи Гатиса, но используется в таком виде в статье про гармонизацию.</ref>.}}{{Определение|definition Style loss=$\mathcal{L}^{\beta}_{style}(I, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} (G^l_{ij}\left[I\right] - G^l_{ij}\left[O\right])^2$ {{---}} функция потерь стиля, где $\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name="NotOriginalDef"/>.}}

Итоговой функцией $G^l\left[S\right]$ отражает статистику выходов фильтров независимо от их расположения, что, в свою очередь, отражает стиль изображения. Чтобы стиль результата был похож на стилевое изображение, введём следующую функцию потерь будет :$$\mathcal{L}_{Gatysstyle} (S, O) = \mathcaldisplaystyle\sum_l \frac{L\beta_l}_{content2N_l^2}(I\displaystyle\sum_{i, O) + w_{stylej}\mathcalleft(G^l_{Lij}_\left[S\right] - G^l_{styleij}(I, \left[O\right]\right)^2,$<ref name="NotOriginalDef"/>. Вес $w_{style}$, векторы где $\alphabeta_l$ и {{---}} вклад $\betal$ являются, -го слоя в некотором смысле, гиперпараметрами алгоритма, которые нужно подбиратьфункцию потерь.

Скомбинируем $\mathcal{L}_{content}$ и $\mathcal{L}_{style}$ и получим функцию потерь, которая была использована в алгоритме Гатиса<ref name="GEB16">[[Файлhttps:GEB16_Figure_6//rn-unison.png|1000px|thumb|center|Начальная инициализация: github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016) </ref>:$O_0 $\mathcal{L}_{Gatys}(I, S, O) = \mathcal{L}_{content}(I$, BO) + w_{style}\mathcal{L}_{style}(S, O) .$O_0 = S$Вес $w_{style}$, C) векторы $\alpha$ и $O_0 = random\beta$]]являются, в некотором смысле, гиперпараметрами алгоритма, которые мы выберем позднее.

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили другую учитывать ещё одну функцию потерь, основанную на '''сопоставлении гистограмм'''.

{{Определение|definition =Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$.}}{{Определение|definition =, тогда Histogram loss будет выглядеть так:$$\mathcal{L}^{\gamma}_{hist}(S, O, S) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2,$ {{---}} функция потерь гистограмм, $где$\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь. '''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

Также добавим ещё одну функцию потерь, которая должна делать картинку более гладкойудаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>.{{Определение:|definition =$$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j})\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1})\right)^2.$$ {{---}} общая вариационная потеря (англ. ''Total variation loss'').}}

==Глубокая гармонизация картин<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например , сымитировать мазки кистью(рисунок $2$). Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

<div class="oo-ui-panelLayout-scrollable" style="display: block; vertical-align:middle; height: auto; max-width: auto; float: center">[[Файл:LPSB18_Figure_1.png|1000px750px|thumb|center|Рисунок $2$: Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> ($3 $ картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> ($4 $ картинка)]]</div>Алгоритм будет состоять состоит из двух проходов. Первый проход будет делать делает грубую гармонизацию, а второй {{---}} более тщательную. Отличаться Отличаются они будут '''стилевым маппингом''' и функциями потерь<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>.

'''Стилевым маппингом''' мы будем называть назовём отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход будет состоять состоит из $3 $ частей:

# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.# Изображение $O$ восстанавливается градиентным спуском по пространству изображений, используя некоторую функцию с использованием функции потерь$\mathcal{L}$.

<span style="display: inline-block; width: 3em">$I$, </span><font color="green"> // Входное изображение </font> <span style="display: inline-block; width: 3em">$M$, </span><font color="green"> // Маска </font> <span style="display: inline-block; width: 3em">$S$, </span><font color="green"> // Стилевое изображение </font> <span style="display: inline-block; width: 3em">$\pi$, </span><font color="green"> // Алгоритм построения стилевого маппинга </font> <span style="display: inline-block; width: 3em">$\mathcal{L}$ </span><font color="green"> // Функция потерь </font>

'''Вектор активацииПатчем''' (англ. ''activation vectorpatch'') {{---}} это вектор значений функции для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации для каждого фильтра в тензоре выхода свёрточного слоя. Заметим, что столбцы с центром в $(x, y)$, где $F_lj = y W_l + x$ являются векторами активации.}}

<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Рисунок $3.2$: Результаты после второго прохода<ref name="WRB17"/>]]</div><div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|rightnone|Рисунок $3.1$: Результаты после первого прохода<ref name="WRB17"/>]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями(рисунок $3.1$). Здесь используется алгоритм <code>$IndependentMapping</code> $ для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).

<span style="display: inline-block; width: 5em">$F[I]$, </span><font color="green"> // Выходы слоёв после входного изображения </font> <span style="display: inline-block; width: 5em">$Mask$, </span><font color="green"> // Маска </font> <span style="display: inline-block; width: 5em">$F[S]$ </span><font color="green"> // Выходы слоёв после стилевого изображения </font>

<font color="green">// Для всех слоёв от $1$ до $L$ </font> '''for''' $l \in [1 : L]$: <font color="green"> // L = количество слоёв сети Для всех столбцов от $1$ до $M_l$ </font>

<font color="green">// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ </font> '''if''' $j \in Resize(Mask, l)$: <font color="green"> // рассматриваем патчи только внутри маски, которую нужно масштабировать Берём самый похожий стилевой патч и записываем его в соответсвии с размером слоя $l$ маппинг. </font>

В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что в $\mathcal{L}_{style}$ к $F_l[S]$ применяется стилевой маппинг $P_l$.:{{Определение|definition =$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{style}(S, O, P).$, где $w_{style}$ {{---}} вес стилевой функции потерь}}

* '''TODOЗамечание:''' Figure 2b, 5c ()при посчёте градиента $\mathcal{L}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

[[Файл:LPSB18_Figure_2cLPSB18_Figure_5c.png|thumb|right|250px|Рисунок $4.1$: Только первый проход<ref name="WRB17"/>]][[Файл:LPSB18_Figure_5d.png|thumb|right|Результаты после второго 250px|Рисунок $4.2$: Только второй проход<ref name="WRB17"/>]][[Файл:LPSB18_Figure_5f.png|thumb|right|250px|Рисунок $4.3$: Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$<ref name="WRB17"/>]][[Файл:LPSB18_Figure_5g.png|thumb|right|250px|Рисунок $4.4$: Оба прохода<ref name="WRB17"/>]][[Файл:LPSB18_Figure_5h.png|thumb|right|250px|Рисунок $4.5$: Финальный результат<ref name="WRB17"/>]]

Второй проход делает более качественную гармонизацию после первого прохода(рисунок $3.2$). Здесь мы будем использовать более сложный алгоритм <code>$ConsistentMapping</code> $ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (видимо таким образом мы хотим переносить сложные текстуры более качественно, например , мазки кистью). Если применять второй проход сразу, то результаты получаются хуже (рисунок $4.2$).

'''fun''' $ConsistentMapping$( <span style="display: inline-block; width: 5em">$F[I]$, </span><font color="green"> // Выходы слоёв после входного изображения </font> <span style="display: inline-block; width: 5em">$Mask$, </span><font color="green"> // Маска </font> <span style="display: inline-block; width: 5em">$F[S]$ </span><font color="green"> // Выходы слоёв после стилевого изображения </font>

'''for''' $o \in \left\{N, NE, E, SE, S, SW, W, NW\right\}$:

$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$

$P_{l_{ref}}(j) \leftarrow argmin_\underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

'''return''' $P$

При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты(рисунок $4.3$). Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём эту функцию потерь с такой модификацией $\mathcal{L}_{s1}$.

{{Определение|definition =$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{s1}(S, O, P) + w_{hist}\mathcal{L}^{\gamma}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O),$$, где $w_{style}$, $w_{hist}$, $w_{tv}$ {{---}} веса соответсвующих функций потерь}}.

<!--{| class="wikitable" style="background-color:#FFF; text-align:center"|-| Рисунок $4.1$: Только первый проход<ref name="WRB17"/>| Рисунок $4.2$: Только второй проход<ref name="WRB17"/>| Рисунок $4.3$: Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$<ref name="WRB17"/>|Рисунок $4.4$: Оба прохода<ref name="WRB17"/>| Рисунок $4.5$: Финальный результат<ref name="WRB17"/>|-| [[Файл:LPSB18_Figure_5c.png|250px|thumb|none|Только второй проход]]| [[Файл:LPSB18_Figure_5d.png|250px]]|thumb[[Файл:LPSB18_Figure_5f.png|none|Только первый проход250px]]| [[Файл:LPSB18_Figure_5fLPSB18_Figure_5g.png|250px]]|thumb[[Файл:LPSB18_Figure_5h.png|none|Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$250px]]

Теперь осталось запустить две стадии :

<span style="display: inline-block; width: 5em">$I$, </span><font color="green"> // Входное изображение </font> <span style="display: inline-block; width: 5em">$Mask$, </span><font color="green"> // Маска </font> <span style="display: inline-block; width: 5em">$S$ </span><font color="green"> // Стилевое изображение </font>

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Рисунок $5$: Результат постобработки (без постобработки , после первой стадии, после второй стадии)<ref name="WRB17"/>]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты(рисунок $5$). Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):# Переведём изображение в цветовое пространство [https://en.wikipedia.org/wiki/CIELAB_color_space CIELAB$L*\alpha*\beta$] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так , чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур).

===Подбор гиперпараметровДетали реализации===

[[Файл:LPSB18_Figure_4.png|400px|thumb|noneright|Рисунок $6$: Влияние $l_{ref}$ на результат<ref name="WRB17"/>]]

Возьмём $l_{ref}$ = conv4_1(что будет если использовать другие слои видно на рисунке $6$).

<!--{| class="wikitable"|+ Веса функций потерь|-! $w_{style}$! $w_{hist}$! $w_{tv}$ |-| $\tau$| $\tau$| $\tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$|}-->Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = med_\underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j})\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1})\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$.</ref>.

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать $18 $ различных стилей. Эти стили были разделены на $3 $ категории с разными $\tau$. Используя $Softmax $ можно интерполировать необходимый $\tau$ по следующей таблице:

| [[Файл:5_target.jpg|300px180px]]| [[Файл:5_naive.jpg|300px180px]]| [[Файл:5_final_res.png|300px180px]]| [[Файл:5_final_res2.png|300px180px]]

| [[Файл:6_target.jpg|300px180px]]| [[Файл:6_naive.jpg|300px180px]]| [[Файл:6_final_res.png|300px180px]]| [[Файл:6_final_res2.png|300px180px]]

| [[Файл:10_target.jpg|300px180px]]| [[Файл:10_naive.jpg|300px180px]]| [[Файл:10_final_res.png|300px180px]]| [[Файл:10_final_res2.png|300px180px]]

Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе Будем считать, что на стилевое вход подаются изображения , прошедшие предварительную обработку:* Используемая для вставки часть $SI$ вырезана с помощью маски.* $M$ бесшовно накладывается входное изображение и $I$, получается подготовительное блендинг-изображение выровнены относительно $BS$. На втором этапе $B* Размеры матриц, задающих $ модифицируется таким образомM, чтобы результат по стилю был похож на $S, I$, совпадают.

|-! '''Стилевое <br/> изображение $S$'''<ref name='ZWS20'/>

! '''Накладываемое <br/> изображение $I$'''<ref name='ZWS20'/>

[[Файл:Deep bl 1stageНа первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.png|thumb|right|200px|Результат первого этапа]]Построение подготовительного изображения начинается с белого шума. Для подсчета $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{styletotal}$ и , представленной взвешенной суммой всех функций потерь, описанных выше:$$\mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B).$$ авторами Для решения задачи минимизации авторы статьи<ref name='ZWS20'/> использовалась сеть VGGиспользуют алгоритм L-19<ref name="SZ14"/>, обученная на ImageNetBFGS<ref name="ImageNetLBFGS">https://image-neten.wikipedia.org/paperswiki/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.Limited-memory_BFGS Limited-J. Li, K. Li, and L. FeiFei. Imagenet: A largememory BFGS -scale hierarchical image databaseWikipedia</ref>.

Для удобства введем вспомогательную функцию применения Отметим, что $\mathcal{L}_{content}$ зависит от маски:и отвечает за сохранение содержания $I$ в области вставки.

<font size="3em"> <font color="green">// Вставка части изображения Отличительной чертой этого этапа является использование функции потерь $I\mathcal{L}_{grad}$, определенной маской приближающей градиент результата к градиенту $MI$в области наложения,</font>за счет чего достигается бесшовность. <font color="green">// на В результате получается подготовительное блендинг-изображение $S$ </font> '''fun''' $ApplyMask(M, I, S)$: <font color="green">// За $\odot$ обозначим покомпонентное произведение </font> '''return''' $I \odot M + S \odot (1 - M)B$</font> .

<span style="display: inline-block; width: 3em">$I$, </span> <font color="green"> // Входное изображение </font> <span style="display: inline-block; width: 3em">$M$, </span> <font color="green"> // Маска </font> <span style="display: inline-block; width: 3em">$S$ </span> <font color="green"> // Стилевое изображение </font>

$B \leftarrow ApplyMaskCAP(M, S, Z, S)$

$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{contcontent}\mathcal{L}_{contcontent}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$

'''return''' $ApplyMaskCAP(M, S, Z, S)$

[[ФайлВторой этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.  В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:Deep bl 2stage$$\mathcal{L}_{total}(O) = w_{content}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O).$$ Минимизация происходит относительно результата алгоритма $O$, который инициализируется изображением $B$.png|thumb|right|200px|Результат после обоих этапов]] 

<span style="display: inline-block; width: 3em">$B$, </span> <font color="green"> // Подготовительное блендинг-изображение, результат первого этапа </font> <span style="display: inline-block; width: 3em">$M$, </span> <font color="green"> // Маска </font> <span style="display: inline-block; width: 3em">$S$ </span> <font color="green"> // Стилевое изображение </font>

$\mathcal{L}_{total}(ZO) \leftarrow w_{cont}\mathcal{L}_{contcontent}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$

Примеры с [[Файлhttps:МЛ блендинг пример//github.png|1000px]com/owenzlz/DeepImageBlending/tree/master/results Github авторов]:

==См. также==* [[Neural_Style_Transfer|Neural Style Transfer]]* [[Сверточные_нейронные_сети | Свёрточная нейронная сеть]] ==Источники информации==* [https://en.wikipedia.org/wiki/Gramian_matrix Матрица Грама Histogram_matching Histogram matching]* Patrick Perez, Michel Gangnet, Andrew Blake (2003), [https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing].<!--* Karen Simonyan, Andrew Zisserman (2014), [https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]-->* Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (англ2016), [https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks]<!--* Eric Risser, Pierre Wilmot, Connelly Barnes (2017), [https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses]--><!--* Aravindh Mahendran, Andrea Vedaldi (2015), [https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them]--><!--* Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016), [https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution]--><!--* Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017), [https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy]-->* Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018), [https://arxiv.org/pdf/1804.03189.pdf Deep Painterly Harmonization]* Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020), [https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending]