Изменения

'''Гармонизация изображений''' (англ. ''image harmonization'') {{---}} метод, позволяющий наложить часть одного изображения поверх другого таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки и с соответсвующими цветами и текстурами <ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref>.}}*картинка (можно вставить картинку с дайвером, если сможем её обработать гармонизатором)* {{Определение|definition ='''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки и соответсвующими цветами и текстурами. В отличие от гармонизации, блендинг сам определяет какие пиксели фонового изображения нужно заменить.<ref name='ZWS20'/>}}*картинка с дайвером (там видноОсновная трудность задачи заключается в том, что пузырики с естественность результата зависит не только от бесшовности наложения, но и от схожести цветов и текстуры вставляемого и фонового изображения остались поверх дайвера)*изображений.

todo Note[[Файл: Блендинг Пуассона на самом деле является гармонизацией, так как требует маску заменяемых пикселейPoisson int1.png|thumb|right|250px|Рисунок $1. Почему-то в статьях его называют блендингом (Poisson blending), хотя оригинальная статья называлась Poisson Image Editing1$: Пример перепада яркости при простой вставке<ref name="PGB03"'ZWS20'/>]][[httpsФайл://wwwPoisson int2.cspng|thumb|right|250px|Рисунок $1.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)2$: Результат применения блендинга Пуассона<ref name='ZWS20'/ref>]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки(рисунок $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рисунок $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

todo Note'''Замечание: ''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $AS$ изображение, которое служит фоном, а за $BI$ {{---}} изображение, вставляемое поверх $AS$.Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:{| class="wikitable" style="background-color:#FFF; text-align:center"|-! Фоновое <br/> изображение $S$! Накладываемое <br/> изображение $I$! Маска $M$|-| [[Файл:Poisson_cat.jpg|155px]]| [[Файл:Poisson_cherry.jpg|155px]]| [[Файл:Poisson_cherry_mask.png|155px]]|}

=== Идея подхода ===Пусть замкнутое множество $p$ {P \subset \mathbb{---R}} координаты пикселя двухмерного изображения (т.е. $(x, y)$). $A_p^2$ {{---}} значения пикселя фонового область, на которой определено изображение, $B_pS$ {{---}} значение пикселя вставляемого изображения. Пусть , а замкнутое множество $\Omega\subset P$ {{---}} множество координат с границей $p\partial\Omega$, на которых определено вставляемое изображение и внутренностью $B$. $\partial int(\Omega)$ {{---}} координаты границы вставляемой областиобласть вставки изображения $I$.

Пусть $N_pf_S$ {{---}} множество соседей скалярная функция, определенная на $pP \setminus int(\Omega)$ (максимум четыре пикселя, имеющих общую границу с задает фоновое изображение $S$p; $, т.е. пиксели со следующими координатами: f$(x + 1, y), (x {{--- 1, y)}} неизвестная скалярная функция, определенная на $int(x, y + 1\Omega)$, (xзадает, y - 1)$)каким образом должно выглядеть результат блендинга в области вставки. Для всех пар $<p, q>$ таких, что $q \in N_p$, введем $v_{pq} = B_p - B_q$

Обозначим результат блендинга за $Ov_I$ {{---}} векторное поле, определенное на $\Omega$. Для того чтобы найти значение пикселей в месте наложения В качестве $Bv_I$ возьмем градиент вставляемого изображения $I$, решаем задачу минимизации:$v_I = \nabla f_I$.

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.$$\underset{f_p,\; p \in \Omegaf}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sumiint}|\; (O_p - O_q nabla f - v_{pq})v_I|^2$, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}.$O_p = A_p$ Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.$$p \in nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

Заметим=== Дискретный случай ===Пусть $p$ {{---}} координаты $(x, что функцияy)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$ {{---}} область, которую мы хотим минимизировать, квадратична относительно переменных заданная маской $M$. Тогда $O_p, p \in partial \Omega$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных{{---}} координаты границы вставляемой области, при которых частные производные будут равны нулюа $int(\Omega)$ {{---}} внутренность области.

Для Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p \in \Omega$, т.е. пиксели со следующими координатами: $\frac{\partial{\underset{p(x + 1, y), q \in \Omega}{\sum}\; (O_p x - O_q - v_{pq}1, y), (x, y + 1)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 , (O_p x, y - O_q - v_{pq}1)$) - \underset{. Для всех пар $(p, q \in N_p}{\sum} 2 (O_q - O_p - v_{qp}) = 2 \underset{$ таких, что $q \in N_p}{\sum} 2 (O_p - O_q - $, введем $v_{pq})= I_p - I_q$.

Приравнивая к нулюВведем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, получаем: пиксели $|N_p| O_p - , p \in \partial\underset{Omega$, сделаем равными $S_p$. Для $p, q \in N_p}{int(\sum} O_q = Omega),\underset{; q \in N_p}{\sum} $ постараемся найти такое $O$, чтобы разность $O_p$ и $O_q$ была близка к $v_{pq}$.Для этого решим задачу минимизации:

Для точек, граничащих с $\partial \Omega$: $|N_p| O_p - \underset{q O_p,\; p \in N_p \cap \Omega}{\summathrm{min}} O_q = \; \underset{p, q \in N_p \cap \partial \Omega}{\sum} A_q + \underset; \left(O_p - O_q - v_{q pq}\in N_p}{right)^2, \sum} v_text{pqгде }O_p = S_p, p \in \partial \Omega.$$.

Решаем систему уравнений и получаем значения Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p$ для $, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю. todo: Поскольку система уравнений sparse symmetric positive$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) -defined, можно использовать следующие итеративные алгоритмы: Gauss\underset{q \in N_p}{\sum} 2 \left(O_q -Seidel, VO_p -cycle multigrid. Заметим, что метод Пуассона сдвигает цвета накладываемого изображения и сохраняет свойства градиента v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(прям всегда? нужно подумотьO_p - O_q - v_{pq}\right), туду.$$

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03">[https://erkamanwww.githubcs.iojhu.edu/posts~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</poisson_blendingref>.html

Another thing that we wish to remark is that even though poisson blending shifts the color of the source imageПолучаем значения пикселей $O_p$, it still preserves the features of it. In the original source image, f4 is smaller than f3, f5 is greater than f4, and so on, and this also applies to our recovered image$p \in int(\Omega)$. This information was encoded by the gradients of the source image. However, it is also important to realize that poisson blending does not exactly preserve the gradients. In the recovered image, the gradient f3,4 assumes the value 7−4Тогда результат $B$ блендинга Пуассона будет следующим: $$B_p =3\begin{cases}O_p, but it was 26−22=4 \; \text{если } p \in the original source image. In the previous section, the gradients of the recovered image were identical to the gradients of the original image. But with poisson blendingint(\Omega) \\S_p, the gradients of a completely different image are pasted into another image, and the result of this is that the solver is not always able to recover an image whose gradients exactly match the specified gradients. But the solver tries to find an image whose gradients match as close as possible, and in practice, poisson blending yields good results, which we shall show examples of in the following section\; \text{иначе } \end{cases}.$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name==Трансфер стиля=='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Нейронный перенос стиля=={{main|Neural Style Transfer}}Прежде чем переходить к гармонизации картин, рассмотрим задачу трансфера нейронного переноса стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети ]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref>(конкретные слои указаны ниже в деталях реализации).

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(O, I, S, O) \longrightarrow xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(O, I, S, O)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].

Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} выход матрица значений выхода $l$-го слоя сети на изображении $I$. Выход $l$-го слоя сети имеет размерность $N_l \times W_l \times H_l$. Представим его как матрицу $N_l \times M_l$, где $N_l$ {{---}} количество фильтров в $l$-ом слое, $M_l$ {{---}} количество признаков (высота, умноженная на ширину$M_l = W_l H_l$). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое. Столбец матрицы $F^l\left[I\right]$ размера $N_l$ назовём '''вектором активации'''.}}

'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений. В нашем случае матрица отражает корреляцию между выходами фильтров. $$G^l\left[IS\right] \in \mathcal{R}^{N_l \times N_l} ,$$$$G^l\left[S\right] = F^l\left[IS\right]F^l\left[IS\right]^T.$$.}}

===[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks]<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. EckerДалее рассмотренны функции потерь, Matthias Bethge (2016)</ref>которые мы будем использовать.===

{{Определение===Content loss===|definition =$\mathcal{L}_{content}(I, O, l) = \displaystyle\sum_{i, j} (F^l_{ij}l\left[I\right] - F^l_{ij}\left[O\right])^2$ {{---}} функция отражает содержание изображения. Мы хотим чтобы содержание результата было как можно ближе к исходной картинке. Введём для этого такую функцию потерь содержания на слое :$l$.}}{{Определение|definition =$\mathcal{L}_{stylecontent}(I, O) = \displaystyle\sum_l \frac{w_l\alpha_l}{4N_l^2M_l^2N_l M_l} \displaystyle\sum_{i, j} \left(GF^l_{ij}\left[I\right] - GF^l_{ij}\left[O\right]\right)^2,$ {{---}} функция потерь стиля, $где $w_l\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь.}}

Итоговой функцией потерь будет $\mathcal{L}_{Gatys} = \alpha\mathcal{L}_{content}(I, O, L) + \beta\mathcal{L}_{style}(I, O)$. Веса \alpha и \beta, последовательность $w_l$ и слой $L$ являются, в некотором смысле, гиперпараметрами алгоритма, которые нужно подбирать<ref name="GEB16"/>.=Style loss===

*'''TODO'''$G^l\left[S\right]$ отражает статистику выходов фильтров независимо от их расположения, что, в свою очередь, отражает стиль изображения. Чтобы стиль результата был похож на стилевое изображение, введём следующую функцию потерь: GEB16 Figure 3 $$\mathcal{L}_{style}(влияние S, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[S\right] - G^l_{ij}\left[O\right]\right)^2,$w_l$)*'''TODO''': GEB16 Figure 4 (влияние где $\alphabeta_l$)*'''TODO''': GEB16 Figure 5 (влияние {{---}} вклад $Ll$)-го слоя в функцию потерь.

Авторы статьи показывают, что в качестве начальной инициализации можно брать изображение $I$, изображение $S$ или белый шум {{---}} алгоритм даёт похожие результаты в этих случаях<ref name="GEB16"/>.==Gatys' loss===

*'''TODO'''Скомбинируем $\mathcal{L}_{content}$ и $\mathcal{L}_{style}$ и получим функцию потерь, которая была использована в алгоритме Гатиса<ref name="GEB16">[https: GEB16 Figure 6 //rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>:$$\mathcal{L}_{Gatys}(I, S, O) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O).$$Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые мы выберем позднее.

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили другую учитывать ещё одну функцию потерь, основанную на '''сопоставлении гистограмм'''.

Пусть '''Стилевым маппингом''' назовём отображение $P : \mathcal{R = histmatch}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (Oне обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, Sпусть $p(j)$ {{---}} отображение пикселей такоеновая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}} Один проход состоит из $3$ частей:# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.# Изображение $O$ восстанавливается градиентным спуском по пространству изображений с использованием функции потерь $\mathcal{L}$.<font size="3em"> '''fun''' $SinglePassHarmonization$( <span style="display: inline-block; width: 3em">$I$,</span><font color="green">// Входное изображение </font> <span style="display: inline-block; width: 3em">$M$,</span><font color="green">// Маска </font> <span style="display: inline-block; width: 3em">$S$,</span><font color="green">// Стилевое изображение </font> <span style="display: inline-block; width: 3em">$\pi$, что гистограмма </span><font color="green">// Алгоритм построения стилевого маппинга </font> <span style="display: inline-block; width: 3em">$\mathcal{L}$</span><font color="green">// Функция потерь </font> ): <font color="green">// Строим матрицы $F[I]$ и $F[S]$ совпадает с гистограммой помощью свёрточной сети VGG-19 </font> $F[I] \leftarrow ComputeNeuralActivations(I)$ $F[S] \leftarrow ComputeNeuralActivations(S)$R <font color="green">// Строим стилевой маппинг </font> $P \leftarrow \pi(F[I], M, F[S])$ <font color="green">// Градиентным спуском ищем изображение $O)$., которое минимизирует $\mathcal{L}$ </font> $O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$ '''return''' $O$</font> ===Первый проход=== 

'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре выхода свёрточного слоя, с центром в $(x, y)$, где $j = y W_l + x$.}}  <div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Рисунок $3.2$: Результаты после второго прохода<ref name="WRB17"/>]]</div><div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Рисунок $3.1$: Результаты после первого прохода<ref name="WRB17"/>]]</div> Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями (рисунок $3.1$). Здесь используется алгоритм $IndependentMapping$ для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа). <font size="3em"> '''fun''' $IndependentMapping$( <span style="display: inline-block; width: 5em">$F[I]$,</span><font color="green">// Выходы слоёв после входного изображения </font> <span style="display: inline-block; width: 5em">$Mask$,</span><font color="green">// Маска </font> <span style="display: inline-block; width: 5em">$F[S]$</span><font color="green">// Выходы слоёв после стилевого изображения </font> ): <font color="green">// Для всех слоёв от $1$ до $L$ </font> '''for''' $l \in [1 : L]$: <font color="green">// Для всех столбцов от $1$ до $M_l$ </font> '''for''' $j \in [1 : M_l]$: <font color="green">// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ </font> '''if''' $j \in Resize(Mask, l)$: <font color="green">// Берём самый похожий стилевой патч и записываем его в маппинг. </font> $P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$ '''return''' $P$</font> В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что в $\mathcal{L}_{histogramstyle}$ к $F_l[S]$ применяется стилевой маппинг $P_l$: $$\mathcal{L}_1(I, S, O, P) = \displaystylemathcal{L}_{content}(I, O) + w_{style}\sum_l mathcal{L}_{style}(S, O, P).$$ '''Замечание:''' при посчёте градиента $\gamma_l mathcal{L}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>. ===Второй проход=== [[Файл:LPSB18_Figure_5c.png|thumb|right|250px|Рисунок $4.1$: Только первый проход<ref name="WRB17"/>]][[Файл:LPSB18_Figure_5d.png|thumb|right|250px|Рисунок $4.2$: Только второй проход<ref name="WRB17"/>]][[Файл:LPSB18_Figure_5f.png|thumb|right|250px|Рисунок $4.3$: Результат с $\displaystylemathcal{L}_{style}$ вместо $\sum_mathcal{L}_{is1}$<ref name="WRB17"/>]][[Файл:LPSB18_Figure_5g.png|thumb|right|250px|Рисунок $4.4$: Оба прохода<ref name="WRB17"/>]][[Файл:LPSB18_Figure_5h.png|thumb|right|250px|Рисунок $4.5$: Финальный результат<ref name="WRB17"/>]] Второй проход делает более качественную гармонизацию после первого прохода (рисунок $3.2$). Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (таким образом мы хотим переносить сложные текстуры более качественно, например, мазки кистью). Если применять второй проход сразу, то результаты получаются хуже (рисунок $4.2$). <font size="3em"> '''fun''' $ConsistentMapping$( <span style="display: inline-block; width: 5em">$F[I]$,</span><font color="green">// Выходы слоёв после входного изображения </font> <span style="display: inline-block; width: 5em">$Mask$, </span><font color="green">// Маска </font> <span style="display: inline-block; width: 5em">$F[S]$</span><font color="green">// Выходы слоёв после стилевого изображения </font> ): <font color="green">// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ </font> '''for''' $j\in [1 : M_{l_{ref}} ]$: '''if''' $j \in Resize(Mask, l_{ref})$: $P_0(j) \leftarrow NearestNeighborIndex(F^[I], j, F[S])$ <font color="green">// Далее обеспечиваем пространсвенную согласованность </font> '''for''' $j \in [1 : M_{l_{ref}}]$: '''if''' $j \in Resize(Mask, l_{ijref})$: $q \leftarrow P_0(j)$ <font color="green">// Инициализируем множество кандидатов на новый маппинг </font> $CSet \leftarrow \{q\}$ <font color="green">// Перебираем все смежные патчи </font> '''for''' $o \in \left\{N, NE, E, SE, S, SW, W, NW\right\}$: <font color="green">// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении </font> $CSet \leftarrow CSet \cup \left[O\{P_0(j + o) - o\right\}$ <font color="green">// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей </font> $P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S] _c - RF_{l_{ref}}[S]_{P_0(Fj + o)}\right\|^2$ <font color="green">// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои </font> '''for''' $l \in [1 : L] \setminus \{l_{ref}\}$: '''for''' $j \in [1 : M_l]$: '''if''' $j \in Resize(Mask, l)$: <font color="green">// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$</font> $j' \leftarrow ChangeResolution(l, l_{ref}, j)$ <font color="green">// Берём маппинг для позиции $j'$</font> $q \leftarrow P_{l_{ref}}(j')$ <font color="green">// Переносим позицию $q$ обратно на слой $l$</font> $P_l(j) \leftarrow ChangeResolution(l_{ijref}, l, q)$ '''return''' $P$</font> При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты (рисунок $4.3$). Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём функцию потерь с такой модификацией $\mathcal{L}_{s1}$. $$\mathcal{L}_2(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{s1}(S, O, P) + w_{hist}\mathcal{L}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O),$$ где $w_{style}, w_{hist}, w_{tv}$ {{---}}веса соответсвующих функций потерь. <!--{| class="wikitable" style="background-color:#FFF; text-align:center"|-| Рисунок $4.1$: Только первый проход<ref name="WRB17"/>| Рисунок $4.2$: Только второй проход<ref name="WRB17"/>| Рисунок $4.3$: Результат с $\leftmathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$<ref name="WRB17"/>| Рисунок $4.4$: Оба прохода<ref name="WRB17"/>| Рисунок $4.5$: Финальный результат<ref name="WRB17"/>|-| [[Файл:LPSB18_Figure_5c.png|250px]]| [[Файл:LPSB18_Figure_5d.png|250px]]| [[Файл:LPSB18_Figure_5f.png|250px]]| [[Файл:LPSB18_Figure_5g.png|250px]]| [[Файл:LPSB18_Figure_5h.png|250px]]|}--> ===Итоговый алгоритм=== Теперь осталось запустить две стадии: <font size="3em"> '''fun''' $Harmonization$( <span style="display: inline-block; width: 5em">$I$,</span><font color="green">// Входное изображение </font> <span style="display: inline-block; width: 5em">$Mask$,</span><font color="green">// Маска </font> <span style="display: inline-block; width: 5em">$S$</span><font color="green">// Стилевое изображение </font> ): <font color="green">// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. </font> $I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$ <font color="green">// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. </font> $O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$ '''return''' $O$</font> ===Постобработка=== [[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Рисунок $5$: Результат постобработки (без постобработки, после первой стадии, после второй стадии)<ref name="WRB17"/>]] Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты (рисунок $5$). Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>)^2:# Переведём изображение в цветовое пространство [https://en.wikipedia.org/wiki/CIELAB_color_space $L*\alpha*\beta$] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так, чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур). ===Детали реализации=== [[Файл:LPSB18_Figure_4.png|400px|thumb|right|Рисунок $6$: Влияние $l_{ref}$ на результат<ref name="WRB17"/>]] Возьмём $ l_{ref}$ = conv4_1 (что будет если использовать другие слои видно на рисунке $6$).Выберем следующие веса для слоёв: {| class="wikitable"|+ Первый проход|-! Параметр ! conv1_1 ! conv2_1 ! conv3_1 ! conv4_1 ! conv5_1 |-! $\alpha$ | $0$| $0$| $0$| $1$| $0$|-! $\beta$| $0$| $0$| $1/3$| $1/3$| $1/3$|} {| class="wikitable"|+ Второй проход|-! Параметр ! conv1_1 ! conv2_1 ! conv3_1 ! conv4_1 ! conv5_1 |-! $\alpha$ | $0$| $0$| $0$| $1$| $0$|-! $\beta$| $1/4$| $1/4$| $1/4$| $1/4$| $0$|-! $\gamma$ | $1/2$| $0$| $0$| $1/2$| $0$|} функция  <!--{| class="wikitable"|+ Веса функций потерь гистограмм, где|-! $w_{style}$! $w_{hist}$! $w_{tv}$ |-| $\tau$| $\gamma_ltau$| $ \tau\frac{10}{1 + \exp(10^4 * noise(S) -25)}$|}-->Введём гиперпараметр $\tau$ и возьмём $w_{style}= w_{hist} вклад = \tau$, $lw_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} -го слоя в функцию потерьO^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$.</ref>.

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать $18$ различных стилей. Эти стили были разделены на $3$ категории с разными $\tau$. Используя $Softmax$ можно интерполировать необходимый $\tau$ по следующей таблице: {| class="wikitable"|-! Категория стиля! Примеры стилей! $\tau$|-! Слабый| Барокко, Высокое Возрождение| $1$|-! Средний| Абстрактное Искусство, Постимпрессионизм| $5$|-! Сильный| Кубизм, Экспрессионизм| $10$|} На рисунке $4.4$ результат алгоритма без подбора гиперпараметров. Видно, что самолёт ярче, чем остальное изображение. С подбором параметров получается более естественный результат (рисунок $4.5$). ==Total variation loss=Примеры===Примеры взяты с [https://github.com/luanfujun/deep-painterly-harmonization/tree/master/results Github авторов]. {|! Исходное изображение! Простая вставка! Результат! Постобработка|-| [[Файл:5_target.jpg|180px]]| [[Файл:5_naive.jpg|180px]]| [[Файл:5_final_res.png|180px]]| [[Файл:5_final_res2.png|180px]]|-| [[Файл:6_target.jpg|180px]]| [[Файл:6_naive.jpg|180px]]| [[Файл:6_final_res.png|180px]]| [[Файл:6_final_res2.png|180px]]|-| [[Файл:10_target.jpg|180px]]| [[Файл:10_naive.jpg|180px]]| [[Файл:10_final_res.png|180px]]| [[Файл:10_final_res2.png|180px]]|} ===Более новые подходы=== * [https://arxiv.org/pdf/2006.00809.pdf Foreground-aware Semantic Representations for Image Harmonization]* [https://arxiv.org/pdf/2009.09169.pdf BargainNet: Background-Guided Domain Translation for Image Harmonization] ==Глубокий блендинг== <!-- Настя лапочка :3 --> Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$. Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:* Используемая для вставки часть $I$ вырезана с помощью маски.* $M$ и $I$ выровнены относительно $S$.* Размеры матриц, задающих $M, S, I$, совпадают. '''Примеры входных данных:'''{| class="wikitable" style="background-color:#FFF; text-align:center"! '''Стилевое <br/> изображение $S$'''<ref name='ZWS20'/>| [[Файл:Deep bl s1.png|150px]]| [[Файл:Deep bl s2.png|150px]]| [[Файл:Deep bl s3.png|150px]]|-! '''Накладываемое <br/> изображение $I$'''<ref name='ZWS20'/>| [[Файл:Deep bl i1.png|150px]]| [[Файл:Deep bl i2.png|150px]]| [[Файл:Deep bl i3.png|150px]]|} {{Определение|definition ='''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$. $CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

'''Дискретный оператор Лапласа''' (фильтр Лапласа) $\mathbf{D}^2$ {{---}} аналог непрерывного оператора Лапласа $\nabla^2$, который позволяет выделять контуры изображения (рисунки $7.1$ и $7.2$).$$\mathbf{D}^2=\begin{bmatrix}0 & 1 & 0\\1 & -4 & 1\\0 & 1 & 0\end{bmatrix}.$$ }}{| class="wikitable" style="float:right; clear:right;"!Рисунок $7.1$:<br>Исходное изображение<ref>https://en.wikipedia.org/wiki/Lenna#/media/File:Lenna_(test_image).png</ref>!Рисунок $7.2$:<br>Применение фильтра Лапласа|-| [[Файл:Lenna.png|220px]]| [[Файл:Lenna_Laplacian_Neg.png|220px]]|} Для сохранения контуров изображений $S$ и $I$ в области вставки воспользуемся идеей из [[Блендинг изображений#Блендинг Пуассона|метода Пуассона]] и введём следующую функцию потерь<ref name='ZWS20'/>:$$\mathcal{L}_{tvgrad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{i, jm=1} (O^l_H \displaystyle\sum_{i, jn=1} - O^l_W \left[ \mathbf{i-1, jD}))^2 + B - \left(O^l_\mathbf{i, jD} - O^l_2 S + \mathbf{i, j-1D}^2 I\right))\right]^22_{mn},$$где $H, W$ {{---}} общая вариационная потеря высота и ширина изображений. $B = CAP(англ. ''Total variation loss''M, S, O).$ {{---}}блендинговое изображение, оптимизируемое относительно $O$.

Рассмотрим область $\overline{\Omega} =\{\;p \;| \;M_p =Глубокая гармонизация картин0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.  На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:* $\mathcal{L}_{content}$ для сохранения содержания накладываемого изображения $I$.* $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$.* $\mathcal{L}_{hist}$ для стабилизации переноса стиля.* $\mathcal{L}_{tv}$ для удаления шумов.* $\mathcal{L}_{grad}$ для сохранения контуров фона и изображения. <!-- 0JAg0LXRidGRINCd0LDRgdGC0Y8g0L7Rh9C10L3RjCDQvNC40LvQsNGPIQ==-->Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.  === Первый этап ===На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы. Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B).$$Для решения задачи минимизации авторы статьи<ref name='ZWS20' /> используют алгоритм L-BFGS<ref name="LBFGS">https://en.wikipedia.org/wiki/Limited-memory_BFGS Limited-memory BFGS - Wikipedia</ref>. Отметим, что $\mathcal{L}_{content}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Для того чтобы вставить изображение Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображенияобласти наложения, например сымитировать мазки кистьюза счет чего достигается бесшовность.

<font size="3em"> '''fun''' Harmonization$SeamlessBlending$( <span style="display: inline-block; width: 3em">$I$, </span> <font color="green"> // Входное изображение </font> <span style="display: inline-block; width: 3em">$M$, </span> <font color="green"> // Маска </font> <span style="display: inline-block; width: 3em">$S $ </span> <font color="green"> // Стилевое изображение </font>

<font color="green"> // Тут будет комментарий Инициализируем первое приближение белым шумом </font> I' := SinglePassHarmonization$Z \leftarrow RandomNoise() $ $B \leftarrow CAP(I, M, S, IndependentMappingZ)$ <font color="green"> // Тут тоже Определим суммарную функцию потерь с весами слагаемых $w$</font> O := SinglePassHarmonization$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I', M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, ConsistentMappingB)$ <font color="green">// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ </font> $Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$ '''return''' $CAP(M, S, Z)$</font> === Второй этап === Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.  В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:$$\mathcal{L}_{total}(O) = w_{content}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O).$$

Минимизация происходит относительно результата алгоритма $O$, который инициализируется изображением $B$. <font size="3em"> '''fun''' SinglePassHarmonization$StyleRefinement$( I <span style="display: inline-block; width: 3em">$B$, </span> <font color="green"> // Входное Подготовительное блендинг-изображение , результат первого этапа </font> <span style="display: inline-block; width: 3em">$M$, </span> <font color="green"> // Маска </font> S, <font colorspan style="greendisplay: inline-block; width: 3em"> // Стилевое изображение $S$ </fontspan> $\pi$ <font color="green"> // Neural mapping function todo: translate this shit Стилевое изображение </font>

F_I :$O \leftarrow B$ <font color= ComputeNeuralActivations"green">// Определим суммарную функцию потерь с весами слагаемых $w$</font> $\mathcal{L}_{total}(IO) F_S := ComputeNeuralActivations\leftarrow w_{cont}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$ P :<font color= "green">// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\pimathcal{L}_{total}$(F_I, M, F_S)</font> $O := \leftarrow Reconstruct(I\mathcal{L}_{total}, M, S, PO) $ '''return''' $O$</font> Примеры с [https://github.com/owenzlz/DeepImageBlending/tree/master/results Github авторов]: {|! После первого этапа! После обоих этапов|-| [[Файл:1_first_pass.png|300px]]| [[Файл:1_second_pass.png|300px]]|-| [[Файл:3_first_pass.png|300px]]| [[Файл:3_second_pass.png|300px]]|-| [[Файл:5_first_pass.png|300px]]| [[Файл:5_second_pass.png|300px]]|}

==Глубокий блендинг=Детали реализации===В статье использовались следующие значения коэффициентов: {| class="wikitable"|+ Веса функций потерь|-! Этап! $w_{grad}$! $w_{content}$! $w_{style}$! $w_{hist}$! $w_{tv}$ |-! $1$| $10^5$| $1$| $10^5$| $1$| $10^{-6}$|-! $2$| $0$| $1$| $10^7$| $1$| $10^{-6}$|}<!--Для подсчета $\mathcal{L}_{style}$ используются слои conv1_2, conv2_2, conv3_3, conv4_3 VGG-19, для $\mathcal{L}_{content}$ {{---}} conv2_2.-->{| class="wikitable"|+ Коэффициенты $\alpha$ и $\beta$|-! Параметр ! conv1_2 ! conv2_2! conv3_3! conv4_3 |-! $\alpha$ | $0$| $1$| $0$| $0$|-! $\beta$| $1/4$| $1/4$| $1/4$| $1/4$|} На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.  === Примеры ===Примеры с [https://github.com/owenzlz/DeepImageBlending/tree/master/results Github авторов]: [[Файл:МЛ блендинг пример.png|800px]] ==СсылкиСм. также==* [[Neural_Style_Transfer|Neural Style Transfer]]* [[Сверточные_нейронные_сети | Свёрточная нейронная сеть]]

==Источники информации==* [https://en.wikipedia.org/wiki/Gramian_matrix Матрица Грама Histogram_matching Histogram matching]* Patrick Perez, Michel Gangnet, Andrew Blake (англ2003), [https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing].<!--* Karen Simonyan, Andrew Zisserman (2014), [https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]-->* Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016), [https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks]<!--* Eric Risser, Pierre Wilmot, Connelly Barnes (2017), [https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses]--><!--* Aravindh Mahendran, Andrea Vedaldi (2015), [https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them]--><!--* Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016), [https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution]--><!--* Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017), [https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy]-->* Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018), [https://arxiv.org/pdf/1804.03189.pdf Deep Painterly Harmonization]* Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020), [https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending]