Изменения

==Трансфер Нейронный перенос стиля==

Прежде чем переходить к гармонизации картин, рассмотрим задачу трансфера нейронного переноса стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref>(конкретные слои будут указаны ниже).

Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} выход матрица значений выхода $l$-го слоя сети на изображении $I$. Выход $l$-го слоя сети имеет размерность $N_l \times W_l \times H_l$. Представим его как матрицу $N_l \times M_l$, где $N_l$ {{---}} количество фильтров в $l$-ом слое, $M_l$ {{---}} количество признаков (высота, умноженная на ширину$M_l = W_l H_l$). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое. Столбец матрицы $F^l\left[I\right]$ отражает содержание изображенияразмера $N_l$ назовём '''вектором активации'''.}}

'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений. В нашем случае матрица отражает статистику выходов фильтров независимо от их расположения, что, в свою очередь, отражает стиль изображения. $$G^l\left[IS\right] \in \mathcal{R}^{N_l \times N_l},$$$$G^l\left[IS\right] = F^l\left[IS\right]F^l\left[IS\right]^T.$$}}

===Алгоритм Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. GatysДалее рассмотренны функции потерь, Alexander Sкоторые мы будем использовать. Ecker, Matthias Bethge (2016)</ref>===

{{Определение|id=content_loss_def==Content loss===|definition =$\mathcal{L}^{\alpha}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}l\left[I\right] - F^l_{ij}\left[O\right]\right)^2$ {{---}} функция отражает содержание изображения. Мы хотим чтобы содержание результата было как можно ближе к исходной картинке. Введём для этого такую функцию потерь содержания, где :$\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name="NotOriginalDef">Здесь используется определение функции потерь, которое отличается от статьи Гатиса, но используется в таком виде в статье про гармонизацию.</ref>.}}{{Определение|id=style_loss_def|definition =$\mathcal{L}^{\beta}_{stylecontent}(I, O) = \displaystyle\sum_l \frac{\beta_lalpha_l}{2N_l^2N_l M_l} \displaystyle\sum_{i, j} \left(GF^l_{ij}\left[I\right] - GF^l_{ij}\left[O\right]\right)^2,$ {{---}} функция потерь стиля, $где $\beta_lalpha_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name. ===Style loss==="NotOriginalDef"/>.}}

Итоговой функцией $G^l\left[S\right]$ отражает статистику выходов фильтров независимо от их расположения, что, в свою очередь, отражает стиль изображения. Чтобы стиль результата был похож на стилевое изображение, введём следующую функцию потерь будет :$$\mathcal{L}_{Gatysstyle} (S, O) = \mathcaldisplaystyle\sum_l \frac{L\beta_l}{2N_l^{2} \displaystyle\alpha}_sum_{contenti, j}\left(I, O) + w_G^l_{styleij}\mathcalleft[S\right] - G^l_{Lij}^{\beta}_{style}(I, left[O\right]\right)^2,$<ref name="NotOriginalDef"/>. Вес $w_{style}$, векторы где $\alphabeta_l$ и {{---}} вклад $\betal$ являются, -го слоя в некотором смысле, гиперпараметрами алгоритма, которые нужно подбиратьфункцию потерь.

Скомбинируем $\mathcal{L}_{content}$ и $\mathcal{L}_{style}$ и получим функцию потерь, которая была использована в алгоритме Гатиса<ref name="GEB16">[[Файлhttps:GEB16_Figure_6//rn-unison.png|1000px|thumb|center|Начальная инициализация: '''github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)''' </ref>:$O_0 $\mathcal{L}_{Gatys}(I, S, O) = \mathcal{L}_{content}(I$; '''B, O) + w_{style}\mathcal{L}_{style}(S, O)''' .$O_0 = S$; '''C)''' Вес $O_0 = randomw_{style}$, векторы $4\alpha$ примера инициализированы различными белыми шумами ]]и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые мы выберем позднее.

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили другую учитывать ещё одну функцию потерь, основанную на '''сопоставлении гистограмм'''.

{{Определение|definition =Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$.}}{{Определение|id=hist_loss_def|definition =, тогда Histogram loss будет выглядеть так:$$\mathcal{L}^{\gamma}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2,$ {{---}} функция потерь гистограмм, $где$\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь.}}

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>.{{Определение:|id=tv_loss_def|definition =$$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2.$$ {{---}} общая вариационная потеря (англ. ''Total variation loss'').}}

==Глубокая гармонизация картин<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>==

Алгоритм будет состоять состоит из двух проходов. Первый проход будет делать делает грубую гармонизацию, а второй {{---}} более тщательную. Отличаться Отличаются они будут '''стилевым маппингом''' и функциями потерь<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>.

'''Стилевым маппингом''' мы будем называть назовём отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход будет состоять состоит из $3$ частей:

'''Вектор активации''' (англ. ''activation vector'') {{---}} это столбец $F_l$.}} {{Определение|definition ='''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре выхода свёрточного слоя, с центром в $(x, y)$, где $j = y \times W_l + x$.}}

В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что в $\mathcal{L}^{\beta}_{style}$ к $F_l[S]$ применяется стилевой маппинг $P_l$.:

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{style}(S, O, P) \text{, где } w_{style} \text{ {{---}} вес стилевой функции потерь.}$$

'''Замечание:''' при посчёте градиента $\mathcal{L}^{\alpha}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты. Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём эту функцию потерь с такой модификацией $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{s1}(S, O, P) + w_{hist}\mathcal{L}^{\gamma}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O) \text{, $$ где } $w_{style}, w_{hist}, w_{tv} \text{ $ {{---}} веса соответсвующих функций потерь.}$$

# Переведём изображение в цветовое пространство [https://en.wikipedia.org/wiki/CIELAB_color_space CIELAB] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.

Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$.</ref>.

Чтобы комбинировать решение задачи бесшовного наложения Для сохранения контуров изображений $S$ и $I$ в области вставки воспользуемся идеей из [[Блендинг изображений#Блендинг Пуассона|методом метода Пуассона]] с остальными ограничениями, авторы статьии введём следующую функцию потерь<ref name='ZWS20'/> предлагают использовать функцию потерь :$$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[ \mathbf{D}^2 B - \left(\mathbf{D}^2 S + \mathbf{D}^2 I\right) \right]^2_{mn},$$где $H, W$ {{---}} высота и ширина изображений. Для сохранения контуров изображений $B = CAP(M, S, O)$ и {{---}} блендинговое изображение, оптимизируемое относительно $IO$ в области вставки используется дискретный оператор Лапласа.

Рассмотрим область $\overline{\Omega} = \{Определение\;p \;|id\;M_p =grad_loss_def|definition =0\; \}$. Заметим, что градиент $I$ в $\mathcaloverline{L\Omega}_{grad}($ равен нулю. Тогда градиенты $S$ и $B$ совпадают, I, M, O) = и задача минимизации $\displaystyle\fracmathcal{1L}_{2HWgrad}$ решается только в области вставки.  На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:* $\displaystyle\sum_mathcal{m=1L}^H \displaystyle\sum__{n=1content}^W $ для сохранения содержания накладываемого изображения $I$.* $\left[ \mathbfmathcal{DL}^2 B - \left(\mathbf_{Dstyle}^2 $ для переноса стиля изображения $S + $ на $I$.* $\mathbfmathcal{DL}^2 I\right) \right]^2__{mnhist}$ {{---}} градиентная функция потерь (англ. ''Possion gradient loss'')для стабилизации переноса стиля. * $H, W$ \mathcal{L}_{---tv}} высота и ширина изображений$ для удаления шумов. * $B = CAP(M, S, O)$ \mathcal{L}_{---}grad} блендинговое изображение, оптимизируемое относительно $O$для сохранения контуров фона и изображения. }}

Рассмотрим область <!-- 0JAg0LXRidGRINCd0LDRgdGC0Y8g0L7Rh9C10L3RjCDQvNC40LvQsNGPIQ== -->Для подсчета $\overlinemathcal{\OmegaL} = \_{\;p \;| \;M_p = 0\; \style}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{gradcontent}$ решается только в области вставкиавторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{contcontent}\mathcal{L}_{contcontent}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B).$$Отметим, что $\mathcal{L}_{contcontent}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{contcontent}\mathcal{L}_{contcontent}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$

$$\mathcal{L}_{total}(O) = w_{contcontent}\mathcal{L}_{contcontent}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O).$$

$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{contcontent}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$

! $w_{contcontent}$

Для подсчета $\mathcal{L}_{style}$ используются слои conv1_2, conv2_2, conv3_3, conv4_3 $VGG$, для $\mathcal{L}_{contcontent}$ {{---}} conv2_2.