Изменения

[[Файл:inpainting_sample.jpg|thumb|400px|Рисунок 1. Пример восстановления изображения. (a) {{В разработке---}}оригинальное изображение, (b) {{---}} изображение со стертыми частями, (с) {{---}} изображение, полученное в результате восстановления.<ref name="SC-FEGAN"/>]]

[[Файл:inpainting_sample'''Восстановление изображения '''(англ.jpg|thumb|400px|(ainpainting) {{---}} оригинальное изображение, (b) это процесс замены поврежденных частей изображения на реалистичные фрагменты. '''Вписывание части изображения''' {{---}} изображение со стертыми частямиэто подзадача восстановления, (с) {{---}} изображение, полученное в результате подрисовки]]которая опирается на имеющуюся неиспорченную часть изображении для замены поврежденной.

'''Восстановление изображения '''(англ. inpainting) {{---}} это процесс замены поврежденных частей изображения на реалистичные фрагменты. '''Вписывание Алгоритмы вписывания части изображения''' - это подзадача восстановления, которая опирается на имеющуюся неиспорченную часть изображении для замены поврежденной. Методы данной области применяются для редактирования изображений или для их восстановления, если их часть была утрачена или подверженаповреждена. С помощью современных моделей можно вырезать ненужные объекты или изменить их внешний вид (например, поменять цвет глаз у человека).

[[Файл:denoising_sample.jpg|thumb|550px|Рисунок 2. Пример устранения текста, наложенного текста на изобрежениеизображение. В данном случае текстом покрыто 18.77% площади.<ref>[https://www.researchgate.net/publication/220903053_Fast_Digital_Image_Inpainting Fast Digital Image Inpainting, Manuel M. Oliveira, Brian Bowen, Richard McKenna, Yu-Sung Chang]</ref>]]

* '''Управляемое восстановление изображения'''(англ. non-blind inpainting). В этой задаче вместе с изображением подается информация о том, какие пиксели нужно заменить.* '''Слепое восстановление изображения'''(англ. blind inpainting). В решениях данной проблемы модель сама определяет, где на изображении поврежденные пиксели. Модели слепого восстановления чаще всего занимаются устранением шумов (англ. denoising). В качестве шума, например, может быть наложенный текст(см Рис. Пример работы модели удаления наложенного текста приведен на картинке справа2).

# Быстрый пошаговый метод (англ. Fast marching method)<ref>[https://www.researchgate.net/publication/238183352_An_Image_Inpainting_Technique_Based_on_the_Fast_Marching_Method An Image Inpainting Technique Based onthe Fast Marching Method, Alexandru Telea]</ref>. Этот метод двигается от границ области, которую нужно заполнить, к ее центру, постепенно восстанавливая пиксели. Каждый новый пиксель вычисляется как взвешенная сумма известных соседних пикселей.# Метод Навье-Стокса (англ. Navier-Stokes method)<ref>[https://www.math.ucla.edu/~bertozzi/papers/cvpr01.pdf Navier-Stokes, Fluid Dynamics, and Image and Video Inpainting, M. Bertalmio, A. L. Bertozzi, G. Sapiro]</ref>. Метод основывается на том, что границы объектов на изображении должны быть непрерывными. Значения пикселей вычисляются из областей вокруг испорченное испорченной части. Метод основывается на дифференциальных уравнениях в частных производных.

[[Файл:inpainting_network.jpg|thumb|550px|Рисунок 3. Пример GAN для inpainting.<ref>[http://iizuka.cs.tsukuba.ac.jp/projects/completion/data/completion_sig2017.pdf Globally and Locally Consistent Image Completion, Satoshi Lizuka, Edgar Simo-Serra, Hiroshi Ishikawa]</ref>]]

Сети В сетях обычно имеют модель используется архитектура [[Автокодировщик|автокодировщиков (англ. autoencoder)]] {{---}} сначала идут слои кодирующие, а потом декодирующие изображение. Функция потерь заставляет модель изучать другие свойства изображения, а не просто копировать его из входных данных в выходные. Именно это позволяет научить модель заполнять недостающие пиксели.

В ранних моделях часто применялись два дискриминатора(см Рис. 3):

В подрисовке Для вписывания изображения помимо классической свертки широко используются другие способы перехода от слоя к слою. Подробнее про свертки можно прочитать в конспекте [[Сверточные нейронные сети]].

Существует большое множество различных функций потерь при методе обучение обучения модели через сравнение сгенерированного изображения с оригинальным.

<center><tex>L_{per-pixel} = \frac{1}{N_{I_{gt}}}\|M \odot (I_{gen} - I_{gt})\| + \alpha \frac{1}{N_{I_{gt}}}\|(1 - M) \odot (I_{gen} - I_{gt})\|</tex>,</center>

:где <tex>I_{gen}</tex> {{---}} выход генератора; <tex>I_{gt}</tex> {{---}} оригинальное изображние изображение (англ. ground truth); <tex>N_a</tex> {{---}} количество элементов в объекте <tex>a</tex>; <tex>M</tex> {{---}} бинарная маска; <tex>\alpha</tex> {{---}} гиперпараметр, <tex>\odot</tex> {{--- }} поэлементное перемножение.

* '''Perceptual loss'''. Cравнивает признаки полученного сгенерированного и исходного изображений, полученные с помощью модели VGG-16<ref>[https://arxiv.org/pdf/1409.1556v6.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition, Karen Simonyan, Andrew Zisserman]</ref>.

<center><tex>L_{percept} = \sum\limits_{q}\frac{\|\Theta_{q}(I_{gen}) - \Theta_{q}(I_{gt})\|}{N_{\Theta_{q}(I_{gt})}} + \sum\limits_{q}\frac{\|\Theta_{q}(I_{comp}) - \Theta_{q}(I_{gt})\|}{N_{\Theta_{q}(I_{gt})}}</tex>,</center>

:где <tex>I_{comp}</tex> {{---}} изображение <tex>I_{gen}</tex>, в котором нестертые части заменены на части из <tex>I_{gt}</tex>; <tex>\Theta_{q}(x)</tex> {{---}} карта признаков, полученная <tex>q</tex>-ым слоем VGG-16.

* '''Style loss'''. Сравнивает текстуру и цвета изображенийСчитает корреляцию между признаками на каждом слое, используя матрицу что на самом деле является матрицей Грама<ref>[https://en.wikipedia.org/wiki/Gramian_matrix Gramian matrix, Wikipedia]</ref>. Согласно алгоритму [[Neural Style Transfer|нейронного переноса стиля (англ. Neural Style Transfer, NST)]] матрица Грама содержит информацию о текстуре и цвете изображения. Таким образом style loss сравнивает сгенерированное и оригинальное изображения на схожесть стилей.

<center><tex>L_{style} = \sum\limits_{q}\frac{1}{C_q C_q} \| \frac{G_q(I_{gen})-G_q(I_{gt})}{N_q}\|</tex>,</center>

:где <tex>G_q(x) = (\Theta_{q}(I_{x}))^T (\Theta_{q}(I_{x}))</tex> {{---}} матрица Грама для выполнения автокорреляции на карте признаков VGG-16; <tex>C_{q}</tex> {{---}} размерность матрицы Грама.

<center><tex>L_{tv} = \sum\limits_{(i,j) \in R}\frac{\|I_{comp}^{i,j+1} - I_{comp}^{i,j}\|}{N_{I_{comp}}} + \sum\limits_{(i,j) \in R}\frac{\|I_{comp}^{i+1,j} - I_{comp}^{i,j}\|}{N_{I_{comp}}}</tex>,</center>

* '''Adversarial loss'''. Сравнивает генерируемые и оригинальные грани объектов где <tex>I_{comp}</tex> {{---}} изображение <tex>I_{gen}</tex>, в изображении.котором нестертые части заменены на части из <tex>I_{gt}</tex>; <tex>N_{I_{comp}}</tex> {{---}} количество пикселей в <tex>I_{comp}</tex>

:<texcenter>I_{gray}</tex> L_{adv} = \mathbb{---E}} черное белое оригинальное изображение; <tex>[\log D(H_{gt}</tex> , I_{gray})] + \mathbb{E}[\log (1 ---}} грани объектов оригинального изображения; <tex>D(H_{gen}</tex> , I_{{---}gray} генерируемые грани; ))]</tex>D,</texcenter> {{---}} дискриминатор;

* '''Featureгде <tex>I_{gray}</tex> {{-matching loss'''. Сравнивает --}} черно-белое оригинальное изображение; <tex>H_{gt}</tex> {{---}} границы объектов оригинального изображения по признакам, извлекаемым из всех слоев дискриминатора.; <tex>H_{gen}</tex> {{---}} генерируемые границы; <tex>D</tex> {{---}} дискриминатор;

:<center><tex>L_{FM} = \mathbb{E}[\sum\limits_{i=1}^L \frac{1}{N_i} \|D^{(i)}(H_{gt} - D^{(i)}(H_{gen}))\| ]</tex>,</center> где <tex>L</tex> {{---}} количество слоев дискриминатора; <tex>N_i</tex> {{---}} число нейронов на <tex>i</tex>-ом слое дискриминатора; <tex>D^{(i)}</tex> {{---}} значения диксриминатора дискриминатора на слое <tex>i</tex>;

[[Файл:sc-fegan_result.jpg|thumb|300px|Рисунок 4. Пример работы модели SC-FEGAN.<ref name="SC-FEGAN"/>]]

=== SC-FEGAN<refname="SC-FEGAN">[https://github.com/run-youngjoo/SC-FEGAN Face Editing Generative Adversarial Network with User's Sketch and Color, Youngjoo Jo, Jongyoul Park]</ref> ===

SC-FEGAN позволяет производить создавать высококачественные изображения лицза счет эскизов, учитывая передаваемые передаваемых пользователем эскизы на местах вместо стертых частей изображения. Иными словами пользователь может легко редактировать изображения, стирая фрагментыстереть фрагмент, которые который он хочет изменить, нарисовать на его месте желаемый объект, и подставляя туда эскизыполученный эскиз, а также его цветовая палитра, которые будут отражены в генерируемом сгенерированном фрагменте.

[[Файл:DeepFillv2_model.jpeg|thumb|300px|left|Рисунок 5. Сеть DeepFillv2.<ref name="DeepFillv2"/>]]

=== DeepFillv2<refname="DeepFillv2">[https://github.com/run-youngjoocsqiangwen/SC-FEGAN DeepFillv2_Pytorch Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]</ref> ===

В данной модели используется вариант генеративно-состязательной сети {{---}} SN-PatchGAN. Дискриминатор этой сети в каждой точке вычисляет кусочно-линейную функцию потерь, формируя таким образом <tex>h \times w \times c</tex> генеративно-состязательных сетей, каждая из которых сосредотачивается на различных частях и свойствах изображения. Генератор, состоящий из двух сетей (грубой и сети повышающей качество изображения), используют модель кодировщик-декодировщик вместо U-Net<ref>[https://arxiv.org/pdf/1505.04597.pdf U-Net: Convolutional Networks for Biomedical Image Segmentation, Olaf Ronneberger, Philipp Fischer, Thomas Brox]</ref>, в которой все слои классической свертки заменены на стробированные. Полностью архитектура сети приведена на Рисунке 5.

Главное отличие этой модели от других {{---}} способность выдавать несколько вариантов заполнения отсутствующих областей изображения. Обычно модели генерируют лишь только один вариант, пытаясь приблизиться к оригинальному изображению. Используя же данную модель, человек может выбрать то сгенерированное изображение, которое выглядит более реалистичным, получая таким образом более качественное изображение качественные изображения на выходе.

=== EdgeConnect<refname="EdgeConnect">[https://arxiv.org/pdf/1901.00212.pdf EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning, Kamyar Nazeri, Eric Ng, Tony Joseph, Faisal Z. Qureshi, Mehran Ebrahimi]</ref> ===

В обоих частях используется генеративно-состязательная сеть. Генераторы состоят из кодировщика, нескольких остаточных блоков с расширенной сверткой и декодировщика(см Рис. 7). Для дискриминатора используется PatchGAN<ref>[https://paperswithcode.com/method/patchgan PatchGan, PapersWithCode]</ref>.

Для генерации ребер сначала выделяются границы существующей части изображения с помощью Canny edge detector<ref>{|-valign="top" |[[httpsФайл://enEdgeConnect_network.jpg|thumb|700px|Рисунок 7.wikipediaСеть EdgeConnect.org<tex>G_1</wikitex> {{---}} генератор границ, <tex>G_2</Canny_edge_detector Canny edge detectortex> {{---}} генератор изображения, Wikipedia]<tex>D_1</reftex>. Потом полученная граница вместе с маской и черно<tex>D_2</tex> {{--белым изображением дается генератору. В качестве целевой функции потерь для тренировки сети берется комбинация двух функций: adversarial loss и feature-matching loss. Также для стабилизация обучения генератора и дискриминатора используется спектральная нормализация}} дискриминаторы.<ref name="EdgeConnect"/>]] |}

Для восстановления генератор получает на вход испорченное изображение и генерации ребер сначала выделяются границысуществующей части изображения с помощью Canny edge detector<ref>[https://en.wikipedia.org/wiki/Canny_edge_detector Canny edge detector, которые составлены из реальных Wikipedia]</ref>. Потом полученная граница вместе с маской и сгенерированных на предыдущем этапечерно-белым изображением дается генератору. В результате генерируется полное изображение. Также как и на предыдущем этапе используется составная функция качестве целевой функции потерь издля тренировки сети берется комбинация двух функций: adversarial loss, perceptual и feature-matching loss . Также для стабилизации обучения генератора и style lossдискриминатора используется спектральная нормализация.

ОднакоДля восстановления генератор получает на вход испорченное изображение и границы, сети не удается предсказать достаточно хорошую границукоторые составлены из реальных и сгенерированных на предыдущем этапе. В результате генерируется полное изображение. Так же, если отсутствует большая часть изображения или объект имеет сложную структурукак и на предыдущем этапе, используется составная функция потерь из adversarial loss, perceptual loss и style loss.

Также данную модель можно использовать для соединения двух изображений Однако сети не удается предсказать достаточно хорошую границу, если отсутствует большая часть изображения или удаления лишних объектов с фотографийобъект имеет сложную структуру. |[[Файл:EdgeConnect_sample.jpg|thumb|300px|Пример работы модели EdgeConnect.]] |}

{|align="center" |-valign="top" |[[Файл:EdgeConnect_networkТакже данную модель можно использовать для соединения двух изображений (см Рис.jpg|thumb|600px|Сеть EdgeConnect8) или удаления лишних объектов с фотографий. <tex>G_1</tex> {{---}} генератор границ, <tex>G_2</tex> {{---}} генератор изображения, <tex>D_1</tex> и <tex>D_2</tex> {{---}} дискриминаторы.]] |}

{|align="center" |-valign="top" |[[Файл:EdgeConnect_merge.jpg|thumb|600px700px| Рисунок 8. Пример соединения двух изображения моделью EdgeConnect.<ref name="EdgeConnect"/>]]

=== Deep Image Prior<refname="DeepImagePrior">[https://arxiv.org/pdf/1711.10925v4.pdf Deep Image Prior, Dmitry Ulyanov, Andrea Vedaldi, Victor Lempitsky]</ref> ===

[[Файл:DeepImagePrior_minimization.jpeg|thumb|550px|Визуализации минимизации функции потерь в модели Рисунок 9. Процесс восстановления изображения с помощью Deep Image Prior.<ref name="DeepImagePrior"/>]]

где <tex>E(x, x_0)</tex> {{---}} это функция потерь, зависящая от решаемой задачи, а <tex>f_{\theta}(z)</tex> {{---}} некоторая сверточная сеть.

Алгоритм решения задачи(см Рис. 9):# Инициализируем <tex>\theta</tex> рандомными случайными весами.