Изменения

Алгоритм решает задачу блендинга, минимизируя следующие функции На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:

'''Простой вставкой''' (англ. ''copy and paste'') $CASCAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$. $CASCAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \gamma_l \displaystyle\sum_{n=1}^W [\,\nabla ^2 f(B) - (\nabla ^2 f(S) + \nabla ^2 f(I)) ]\,^2_{mn}$ {{---}} градиентная функция потерь (англ. ''Possion gradient loss''). $\nabla^2$ {{---}} оператор Лапласа. $H, W$ {{---}} высота и ширина изображений. $B = CASCAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$. }}

На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы. Построение подготовительного изображения начинается с белого шума. Для подсчета $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{styletotal}$ и , представленной взвешенной суммой всех функций потерь, описанных выше:$$\mathcal{L}_{contenttotal}$ авторами статьи<ref name(Z) ='ZWS20'/> использовалась сеть VGG-19<ref name="SZ14"/>w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{cont}\mathcal{L}_{cont}(I, M, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. DengZ) + w_{style}\mathcal{L}_{style}(S, W. DongB) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, R. SocherB) $$Отметим, что $\mathcal{L}_{cont}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.-J. Li Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, K. Liприближающей градиент результата к градиенту $I$ в области наложения, and Lза счет чего достигается бесшовность. FeiFeiДля вычисления производных второго порядка используется фильтр Лапласа. Imagenet В результате получается подготовительное блендинг-изображение $B$: A large-scale hierarchical image database</ref>. $$B_p =\begin{cases}Z_p,\; \text{если } M_p = 1 \\S_p,\; \text{иначе } \end{cases}$$

$B \leftarrow CASCAP(M, S, Z)$

$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{cont}\mathcal{L}_{cont}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$

'''return''' $CASCAP(M, S, Z)$