Вписывание части изображения — различия между версиями

Материал из Викиконспекты
Перейти к: навигация, поиск
Строка 1: Строка 1:
 
{{В разработке}}
 
{{В разработке}}
  
−
[[Файл:inpainting_sample.jpg|thumb|400px|(a) {{---}} оригинальное изображение, (b) {{---}} изображение со стертыми частями, (с) {{---}} изображение, полученное в результате inpainting]]
+
[[Файл:inpainting_sample.jpg|thumb|400px|(a) {{---}} оригинальное изображение, (b) {{---}} изображение со стертыми частями, (с) {{---}} изображение, полученное в результате подрисовки]]
  
−
'''Inpainting'''  {{---}} процесс восстановления испорченных или утраченных частей изображений и видео. В основном этот процесс происходит используя фоновую информацию и заполняя недостающие данные в определенной области визуального ввода.
+
'''Подрисовка изображений '''(англ. inpainting) {{---}} процесс замены дефектных частей изображения на реалистичные фрагменты. '''Вписывание части изображения''' - это подзадача подрисовки. Процесс подрисовки обычно опирается на имеющиеся неиспорченные пиксели в изображении для замены поврежденных.
  
−
Методы данной области применяются как для восстановления изображений, часть которых была утрачена или подвержена некоторым дефектам, так и для их редактирования. С помощью современных моделей можно вырезать ненужные объекты (например, лишних людей на фотографиях), а также гибко редактировать изображения (например, изменить цвет глаз у человека на фото).  
+
Методы данной области применяются для редактирования изображений или для их восстановления, если их часть была утрачена или подвержена некоторым дефектам. С помощью современных моделей можно вырезать ненужные объекты или изменить их свойство (например поменять цвет глаз у человека).
  
  
−
== Виды inpainting ==
+
== Виды подрисовки ==
  
−
[[Файл:denoising_sample.jpg|thumb|550px|Пример устранения наложенного текста на изобрежении. В данном случае текстом покрыто 18.77% площади.]]
+
[[Файл:denoising_sample.jpg|thumb|550px|Пример устранения наложенного текста на изобрежение. В данном случае текстом покрыто 18.77% площади.]]
  
−
Inpainting обычно разделяется на две задачи:
+
Подрисовка обычно разделяется на две задачи:
−
* '''Non-blind inpainting''' {{---}} информация о том, какие пиксели в изображении нужно заменить, подается на вход модели.  
+
* '''Управляемая подрисовка'''(англ. non-blind inpainting). В этой задаче на вход модели вместе с изображением подается информация о том, какие пиксели нужно заменить.
−
* '''Blind inpainting''' {{---}} модель должна сама определить, где на изображении пиксели, которые нужно заменить. Эту задачу также называют denoising (устранение шума), так как модели blind inpainting почти всегда устраняют именно шумы. В качестве шума может быть как примененный фильтр к изображению, так и наложенный текст. Пример работы модели удаления наложенного текста приведен на картинке справа.
+
* '''Слепая подрисовка'''(англ. blind inpainting). В решениях данной проблемы модель сама определяет, где на изображении дефектные пиксели. Модели слепой подрисовки чаще всего занимаются устранением шумов (англ. denoising). В качестве шума может быть как примененный фильтр к изображению, так и наложенный текст. Пример работы модели удаления наложенного текста приведен на картинке справа.
  
−
В этом конспекте преимущественно речь пойдет про non-blind inpainting.
+
В этом конспекте преимущественно речь пойдет про управляемую подрисовку.
  
 
== Простые методы ==
 
== Простые методы ==
  
−
Для решения данной задачи существуют несколько разных методов. В этой части речь пойдет о простых решениях. Почти все простые методы основаны на следующей концепции: заполнение отсутствующих частей пикселями, идентичными соседним пикселям или похожими на них. Такие методы часто зависят от множества факторов и наиболее подходят для задачи устранения шума или небольших дефектов изображения. Но на изображениях, где отсутствует значительная часть данных, эти методы дают плохое качество выходного изображения.  
+
Для решения данной задачи существуют множество различных методов, в том числе простых. Почти все простые методы основаны на следующей концепции: заполнение отсутствующих частей пикселями, идентичными соседним пикселям или похожими на них. Такие методы часто зависят от множества факторов и наиболее подходят для задачи устранения шума или небольших дефектов изображения. Но на изображениях, где отсутствует значительная часть данных, эти методы дают плохое качество выходного изображения.  
  
 
Есть два основных простых способа восстанавливать данные:
 
Есть два основных простых способа восстанавливать данные:
 
# Быстрый пошаговый метод (англ. Fast marching method). Этот метод двигается от границ области, которую нужно закрасить, к ее эпицентру, постепенно закрашивая пиксели. Каждый новый пиксель вычисляется как взвешенная сумма известных соседних пикселей.
 
# Быстрый пошаговый метод (англ. Fast marching method). Этот метод двигается от границ области, которую нужно закрасить, к ее эпицентру, постепенно закрашивая пиксели. Каждый новый пиксель вычисляется как взвешенная сумма известных соседних пикселей.
−
# Метод Навье-Стокса (англ. Navier-Stokes method). Метод основывается на том, что грани объектов в изображении должны быть непрерывными. Цвета пикселей вычисляются на основе известных областей около граней. Метод основывается на дифференциальных уравнениях в частных производных.  
+
# Метод Навье-Стокса (англ. Navier-Stokes method). Метод основывается на том, что грани объектов в изображении должны быть непрерывными. Цвета пикселей вычисляются из известных областей около граней. Метод основывается на дифференциальных уравнениях в частных производных.
  
 
== Глубокое обучение ==
 
== Глубокое обучение ==
Строка 30: Строка 30:
 
[[Файл:inpainting_network.jpg|thumb|550px|Пример GAN для inpainting.]]
 
[[Файл:inpainting_network.jpg|thumb|550px|Пример GAN для inpainting.]]
  
−
Глубокое обучение позволяет в процессе восстановления пикселей учитывать семантику изображения (в отличие от приведенных выше способов). То есть заполнение отсутствующих областей основывается на контексте, вносимым самим изображением, объектах, находящихся на изображении, и их классах.
+
Глубокое обучение позволяет в процессе подрисовки учитывать семантику изображения (в отличие от приведенных выше простых методов). То есть в данном случае заполнение отсутствующих областей основывается на контексте, вносимым самим изображением, объектах, находящихся на изображении, и их классах.
  
 
Современные методы машинного обучения для решения данной задачи часто базируются на глубоких нейронных сетях для классификации изображений, [[Автокодировщик|автокодировщиках (autoencoder)]] и [[Generative_Adversarial_Nets_(GAN)|генеративно-состязательных сетях (GAN)]].  
 
Современные методы машинного обучения для решения данной задачи часто базируются на глубоких нейронных сетях для классификации изображений, [[Автокодировщик|автокодировщиках (autoencoder)]] и [[Generative_Adversarial_Nets_(GAN)|генеративно-состязательных сетях (GAN)]].  
Строка 38: Строка 38:
 
Сети обычно имеют модель автокодировщиков {{---}} сначала идут слои кодирующие, а потом декодирующие изображение. Функция потерь побуждает модель изучать другие свойства изображения, а не просто копировать его из входных данных в выходные. Именно это предоставляет возможность научить модель заполнять недостающие пиксели.   
 
Сети обычно имеют модель автокодировщиков {{---}} сначала идут слои кодирующие, а потом декодирующие изображение. Функция потерь побуждает модель изучать другие свойства изображения, а не просто копировать его из входных данных в выходные. Именно это предоставляет возможность научить модель заполнять недостающие пиксели.   
  
−
Обучение может происходить через сравнение оригинального изображения и синтетического, сгенерированного сетью, или через генеративно-состязательную сеть. Во втором случае для обучения используется дискриминатор, который определяет фейковое ли изображение подали ему на вход. В современных моделях обычно используют совмещенный подход: функции потерь зависят и от исходного изображения, и от выхода дискриминатора.
+
Обучение может происходить через сравнение оригинального изображения и синтетического, сгенерированного сетью или через генеративно-состязательную сеть. Во втором случае для обучения используется дискриминатор, который определяет фейковое ли изображение подали ему на вход. В современных моделях обычно используют совмещенный подход: функции потерь зависят и от исходного изображения, и от выхода дискриминатора.
  
 
В ранних моделях часто использовались два дискриминатора:
 
В ранних моделях часто использовались два дискриминатора:
−
# Локальному (англ. Local Discriminator) подавался на вход только сгенерированная часть изображения.
+
# Локальный дискриминатор (англ. Local Discriminator). Ему подавалась на вход только сгенерированная часть изображения.
−
# Глобальному (англ. Global Discriminator) подавалось на вход все изображение целиком.
+
# Глобальный дискриминатор (англ. Global Discriminator). В данном случае на вход подавалось все изображение целиком.
−
Однако в современных моделях чаще используется один дискриминатор, который принимает на вход не только канал с выходным изображением, но и канал с маской (такие сети часто называются patchGAN). Современные модели чаще всего работают с масками произвольной формы (англ. free-form mask), при работе с которыми локальный дискриминатор показывает плохое качество. Именно поэтому концепция двух дискриминаторов стала не популярной.
+
Однако в современных моделях чаще используется один дискриминатор, который принимает на вход не только канал с выходным изображением, но и канал с маской (такие сети часто называются patchGAN). Современные модели чаще всего принимают на вход маски произвольной формы (англ. free-form mask), при работе с которыми локальный дискриминатор показывает плохое качество. Именно поэтому концепция двух дискриминаторов стала не популярной.
  
 
=== Виды сверток ===
 
=== Виды сверток ===
  
−
Помимо классической свертки в задаче вписывания части изображений широко применяют другие виды сверток, которые дают лучшее качество выходного изображения.
+
Помимо классической свертки в задаче подрисовки широко применяют другие виды сверток, которые дают лучшее качество выходного изображения.
  
 
==== Расширенная свертка (Dilated convolution) ====
 
==== Расширенная свертка (Dilated convolution) ====
Строка 101: Строка 101:
 
=== Функции потерь ===
 
=== Функции потерь ===
  
−
Существует большое множество различных функций при методе обучение модели через сравнение сгенерированного изображения с оригинальным.  
+
Существует большое множество различных функций потерь при методе обучение модели через сравнение сгенерированного изображения с оригинальным.  
 
Примеры:  
 
Примеры:  
−
* '''L1-loss''' или '''Per-pixel loss''' {{---}} оценивает точность восстановления каждого пикселя по отдельности.
+
* '''L1-loss''' или '''Per-pixel loss'''. Оценивает точность восстановления каждого пикселя по отдельности.
  
  
Строка 110: Строка 110:
 
:<tex>I_{gen}</tex>  {{---}} выход генератора; <tex>I_{gt}</tex>  {{---}} оригинальное изображние (англ. ground truth); <tex>N_a</tex>  {{---}} количество элементов в объекте <tex>a</tex>; <tex>M</tex>  {{---}} бинарная маска; <tex>\alpha</tex>  {{---}} гиперпараметр, <tex>\odot</tex> - поэлементное перемножение.
 
:<tex>I_{gen}</tex>  {{---}} выход генератора; <tex>I_{gt}</tex>  {{---}} оригинальное изображние (англ. ground truth); <tex>N_a</tex>  {{---}} количество элементов в объекте <tex>a</tex>; <tex>M</tex>  {{---}} бинарная маска; <tex>\alpha</tex>  {{---}} гиперпараметр, <tex>\odot</tex> - поэлементное перемножение.
  
−
* '''Perceptual loss''' {{---}} сравнивает признаки полученного и исходного изображений, полученные с помощью модели VGG-16<ref>[https://arxiv.org/pdf/1409.1556v6.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition, Karen Simonyan, Andrew Zisserman]</ref>.
+
* '''Perceptual loss'''. Cравнивает признаки полученного и исходного изображений, полученные с помощью модели VGG-16<ref>[https://arxiv.org/pdf/1409.1556v6.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition, Karen Simonyan, Andrew Zisserman]</ref>.
  
  
Строка 117: Строка 117:
 
:<tex>I_{comp}</tex>  {{---}} изображение <tex>I_{gen}</tex>, в котором нестертые части заменены на части из <tex>I_{gt}</tex>; <tex>\Theta_{q}(x)</tex>  {{---}} карта признаков, полученная <tex>q</tex>-ым слоем VGG-16.
 
:<tex>I_{comp}</tex>  {{---}} изображение <tex>I_{gen}</tex>, в котором нестертые части заменены на части из <tex>I_{gt}</tex>; <tex>\Theta_{q}(x)</tex>  {{---}} карта признаков, полученная <tex>q</tex>-ым слоем VGG-16.
  
−
* '''Style loss''' {{---}} сравнивает текстуру и цвета изображений, используя матрицу Грама<ref>[https://en.wikipedia.org/wiki/Gramian_matrix Gramian matrix, Wikipedia]</ref>.
+
* '''Style loss'''. Сравнивает текстуру и цвета изображений, используя матрицу Грама<ref>[https://en.wikipedia.org/wiki/Gramian_matrix Gramian matrix, Wikipedia]</ref>.
  
  
Строка 124: Строка 124:
 
:<tex>G_q(x) =  (\Theta_{q}(I_{x}))^T (\Theta_{q}(I_{x}))</tex> {{---}} матрица Грама для выполнения автокорреляции на карте признаков VGG-16; <tex>C_{q}</tex>  {{---}} размерность матрицы Грама.
 
:<tex>G_q(x) =  (\Theta_{q}(I_{x}))^T (\Theta_{q}(I_{x}))</tex> {{---}} матрица Грама для выполнения автокорреляции на карте признаков VGG-16; <tex>C_{q}</tex>  {{---}} размерность матрицы Грама.
  
−
* '''Total variation loss''' {{---}} оценивает однородность полученного изображения.
+
* '''Total variation loss'''. Оценивает однородность полученного изображения.
  
  
Строка 139: Строка 139:
 
Главная идея данной модели  {{---}} это использование стробированной свертки, которая позволила добиться хорошего качества вписывания при восстановлении изображения с разными формами испорченных областей. Также данная модель может использовать набросок пользователя в качестве входных данных.
 
Главная идея данной модели  {{---}} это использование стробированной свертки, которая позволила добиться хорошего качества вписывания при восстановлении изображения с разными формами испорченных областей. Также данная модель может использовать набросок пользователя в качестве входных данных.
  
−
Более того, чтобы добиться более высокого качества вписывания, предлагается использовать вариант генеративно состязательной сети {{---}} SN-PatchGAN. Дискриминатор этой сети в каждой точке вычисляет кусочно-линейную функцию потерь, формируя таким образом <tex>h \times w \times c</tex> генеративно состязательных сетей, каждая из которых сосредотачивается на различных частях и свойствах изображения.
+
Кроме того, в данной модели предлагается использовать вариант генеративно состязательной сети {{---}} SN-PatchGAN. Дискриминатор этой сети в каждой точке вычисляет кусочно-линейную функцию потерь, формируя таким образом <tex>h \times w \times c</tex> генеративно состязательных сетей, каждая из которых сосредотачивается на различных частях и свойствах изображения.
  
−
Генератор, состоящий из двух сетей (грубой и сети повышающей качество изображения) также адаптируется. Обе сети используют модель кодировщик-декодировщик вместо U-Net<ref>[https://arxiv.org/pdf/1505.04597.pdf U-Net: Convolutional Networks for Biomedical Image Segmentation, Olaf Ronneberger, Philipp Fischer, Thomas Brox]</ref>, в которой все слои классической свертки заменены на стробированные.
+
Генератор, состоящий из двух сетей (грубой и сети повышающей качество изображения) имеет слой адаптации. Обе сети используют модель кодировщик-декодировщик вместо U-Net<ref>[https://arxiv.org/pdf/1505.04597.pdf U-Net: Convolutional Networks for Biomedical Image Segmentation, Olaf Ronneberger, Philipp Fischer, Thomas Brox]</ref>, в которой все слои классической свертки заменены на стробированные.
  
 
----
 
----
Строка 153: Строка 153:
 
Основа данной сети patchGAN {{---}} дискриминатор принимает на вход несколько каналов изображения. В данном случае помимо выходного изображения генератора и маски, дискриминатор принимает еще слой пользовательского ввода (эскизы и цвета).
 
Основа данной сети patchGAN {{---}} дискриминатор принимает на вход несколько каналов изображения. В данном случае помимо выходного изображения генератора и маски, дискриминатор принимает еще слой пользовательского ввода (эскизы и цвета).
  
−
Итоговая функция потерь формируется из функций сравнения изображения с оригинальным (per-pixel loss, perceptual loss, style loss) и выхода дискриминатора.
+
Итоговая функция потерь формируется из выхода дискриминатора и функций сравнения изображения с оригинальным (per-pixel loss, perceptual loss, style loss).
−
 
 
−
== Применение ==
 
−
 
 
−
Inpainting может применяться для различных целей:
 
−
 
 
−
* Восстановление старых фотографий
 
−
* Удаление шума с изображения
 
−
* Удаление ненужных объектов с фото
 
−
* Гибкое и простое редактирование фото с помощью эскизов и цветов
 
  
 
== См. также ==
 
== См. также ==

Версия 00:04, 8 января 2021

Эта статья находится в разработке!
(a) — оригинальное изображение, (b) — изображение со стертыми частями, (с) — изображение, полученное в результате подрисовки

Подрисовка изображений (англ. inpainting) — процесс замены дефектных частей изображения на реалистичные фрагменты. Вписывание части изображения - это подзадача подрисовки. Процесс подрисовки обычно опирается на имеющиеся неиспорченные пиксели в изображении для замены поврежденных.

Методы данной области применяются для редактирования изображений или для их восстановления, если их часть была утрачена или подвержена некоторым дефектам. С помощью современных моделей можно вырезать ненужные объекты или изменить их свойство (например поменять цвет глаз у человека).


Виды подрисовки

Пример устранения наложенного текста на изобрежение. В данном случае текстом покрыто 18.77% площади.

Подрисовка обычно разделяется на две задачи:

  • Управляемая подрисовка(англ. non-blind inpainting). В этой задаче на вход модели вместе с изображением подается информация о том, какие пиксели нужно заменить.
  • Слепая подрисовка(англ. blind inpainting). В решениях данной проблемы модель сама определяет, где на изображении дефектные пиксели. Модели слепой подрисовки чаще всего занимаются устранением шумов (англ. denoising). В качестве шума может быть как примененный фильтр к изображению, так и наложенный текст. Пример работы модели удаления наложенного текста приведен на картинке справа.

В этом конспекте преимущественно речь пойдет про управляемую подрисовку.

Простые методы

Для решения данной задачи существуют множество различных методов, в том числе простых. Почти все простые методы основаны на следующей концепции: заполнение отсутствующих частей пикселями, идентичными соседним пикселям или похожими на них. Такие методы часто зависят от множества факторов и наиболее подходят для задачи устранения шума или небольших дефектов изображения. Но на изображениях, где отсутствует значительная часть данных, эти методы дают плохое качество выходного изображения.

Есть два основных простых способа восстанавливать данные:

  1. Быстрый пошаговый метод (англ. Fast marching method). Этот метод двигается от границ области, которую нужно закрасить, к ее эпицентру, постепенно закрашивая пиксели. Каждый новый пиксель вычисляется как взвешенная сумма известных соседних пикселей.
  2. Метод Навье-Стокса (англ. Navier-Stokes method). Метод основывается на том, что грани объектов в изображении должны быть непрерывными. Цвета пикселей вычисляются из известных областей около граней. Метод основывается на дифференциальных уравнениях в частных производных.

Глубокое обучение

Пример GAN для inpainting.

Глубокое обучение позволяет в процессе подрисовки учитывать семантику изображения (в отличие от приведенных выше простых методов). То есть в данном случае заполнение отсутствующих областей основывается на контексте, вносимым самим изображением, объектах, находящихся на изображении, и их классах.

Современные методы машинного обучения для решения данной задачи часто базируются на глубоких нейронных сетях для классификации изображений, автокодировщиках (autoencoder) и генеративно-состязательных сетях (GAN).

Для того, чтобы понимать, какую часть изображения нужно заполнить, на вход сети кроме самого изображения подается слой маски с информацией о пикселях, где данные отсутствуют.

Сети обычно имеют модель автокодировщиков — сначала идут слои кодирующие, а потом декодирующие изображение. Функция потерь побуждает модель изучать другие свойства изображения, а не просто копировать его из входных данных в выходные. Именно это предоставляет возможность научить модель заполнять недостающие пиксели.

Обучение может происходить через сравнение оригинального изображения и синтетического, сгенерированного сетью или через генеративно-состязательную сеть. Во втором случае для обучения используется дискриминатор, который определяет фейковое ли изображение подали ему на вход. В современных моделях обычно используют совмещенный подход: функции потерь зависят и от исходного изображения, и от выхода дискриминатора.

В ранних моделях часто использовались два дискриминатора:

  1. Локальный дискриминатор (англ. Local Discriminator). Ему подавалась на вход только сгенерированная часть изображения.
  2. Глобальный дискриминатор (англ. Global Discriminator). В данном случае на вход подавалось все изображение целиком.

Однако в современных моделях чаще используется один дискриминатор, который принимает на вход не только канал с выходным изображением, но и канал с маской (такие сети часто называются patchGAN). Современные модели чаще всего принимают на вход маски произвольной формы (англ. free-form mask), при работе с которыми локальный дискриминатор показывает плохое качество. Именно поэтому концепция двух дискриминаторов стала не популярной.

Виды сверток

Помимо классической свертки в задаче подрисовки широко применяют другие виды сверток, которые дают лучшее качество выходного изображения.

Расширенная свертка (Dilated convolution)

Похожа на пуллинг и свертку с шагом, но позволяет:

  • Экспоненциально расширить рецептивное поле без потери качества изображения
  • Получить большее рецептивное поле при тех же затратах на вычисления и памяти, сохранив качество изображения

Формула отличается от классической только коэффициентом расширения l:

[math](F *_{l} k)(p) = \sum\limits_{s+lt=p}F(s)k(t)[/math]

Пример:

Расширенная свертка.
 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.

Частичная свертка (Partial convolution)

Частичная свертка позволяет решить две проблемы предыдущих подходов глубокого обучения:

  1. Предположение, что испорченные области имеют простую форму (прямоугольную).
  2. Заполнение испорченной области одним цветом и применение свертки ко всему изображению вне зависимости от того, какие пиксели испорчены, а какие нет.

Слой свертки состоит из: [math]X[/math] — значения пикселей, [math]M[/math] — маска, указывающая на то какие пиксели испорчены.

[math]x' = \begin{cases} W^T(X\bigodot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)\gt 0 \\ 0, & \mbox{otherwise} \end{cases}[/math]

Поэлементное перемножение [math]X[/math] и [math]M[/math] позволяет получить результат, зависящий только от правильных пикселей, а [math]\frac{sum(1)}{sum(M)}[/math] нормализует этот результат, так как количество правильных пикселей на каждом слое свертки различается.

Маска обновляется так:

[math]m' = \begin{cases} 1, & \mbox{if } sum(M)\gt 0 \\ 0, & \mbox{otherwise} \end{cases}[/math]

Если результат свертки зависел хоть от одного реального пикселя, то на следующем слое свертки результирующий пиксель не будет считаться испорченным. Таким образом с каждым слоем свертки маска заполняется пока не будет полностью заполнена единицами.

Стробированная свертка (Gated convolution)

Разделение пикселей только на правильные и испорченные не позволяет:

  1. Контролировать восстановление изображения и вносить некоторую дополнительную информацию.
  2. Сохранить информацию об испорченной области, так как постепенно все пиксели становятся правильными.

Вместо жесткой маски, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

[math]\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_g \cdot I \\ Feature_{y,x} & = & \sum \sum W_f \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \bigodot \sigma (Gating_{y,x}) \end{array}[/math]

Данная свертка учится динамическому отбору признаков для каждого слоя изображения и каждой логической области маски, значительно улучшая однородность цвета и качество исправления испорченных областей различных форм.

Функции потерь

Существует большое множество различных функций потерь при методе обучение модели через сравнение сгенерированного изображения с оригинальным. Примеры:

  • L1-loss или Per-pixel loss. Оценивает точность восстановления каждого пикселя по отдельности.


[math]L_{per-pixel} = \frac{1}{N_{I_{gt}}}\|M \odot (I_{gen} - I_{gt})\| + \alpha \frac{1}{N_{I_{gt}}}\|(1 - M) \odot (I_{gen} - I_{gt})\|[/math]
[math]I_{gen}[/math] — выход генератора; [math]I_{gt}[/math] — оригинальное изображние (англ. ground truth); [math]N_a[/math] — количество элементов в объекте [math]a[/math]; [math]M[/math] — бинарная маска; [math]\alpha[/math] — гиперпараметр, [math]\odot[/math] - поэлементное перемножение.
  • Perceptual loss. Cравнивает признаки полученного и исходного изображений, полученные с помощью модели VGG-16[1].


[math]L_{percept} = \sum\limits_{q}\frac{\|\Theta_{q}(I_{gen}) - \Theta_{q}(I_{gt})\|}{N_{\Theta_{q}(I_{gt})}} + \sum\limits_{q}\frac{\|\Theta_{q}(I_{comp}) - \Theta_{q}(I_{gt})\|}{N_{\Theta_{q}(I_{gt})}}[/math]
[math]I_{comp}[/math] — изображение [math]I_{gen}[/math], в котором нестертые части заменены на части из [math]I_{gt}[/math]; [math]\Theta_{q}(x)[/math] — карта признаков, полученная [math]q[/math]-ым слоем VGG-16.
  • Style loss. Сравнивает текстуру и цвета изображений, используя матрицу Грама[2].


[math]L_{style} = \sum\limits_{q}\frac{1}{C_q C_q} \| \frac{G_q(I_{gen})-G_q(I_{gt})}{N_q}\|[/math]
[math]G_q(x) = (\Theta_{q}(I_{x}))^T (\Theta_{q}(I_{x}))[/math] — матрица Грама для выполнения автокорреляции на карте признаков VGG-16; [math]C_{q}[/math] — размерность матрицы Грама.
  • Total variation loss. Оценивает однородность полученного изображения.


[math]L_{tv} = \sum\limits_{(i,j) \in R}\frac{I_{comp}^{i,j+1} - I_{comp}^{i,j}}{N_{I_{comp}}} + \sum\limits_{(i,j) \in R}\frac{I_{comp}^{i+1,j} - I_{comp}^{i,j}}{N_{I_{comp}}}[/math]

При обучении обычно используется комбинация функций потерь с некоторыми весами, которые являются гиперпараметрами. В моделях, где вдобавок используется дискриминатор, функция потерь от его выхода также подмешивается к итоговой функции потерь.

Примеры современных моделей

DeepFillv2[3]

Сеть DeepFillv2.

Главная идея данной модели — это использование стробированной свертки, которая позволила добиться хорошего качества вписывания при восстановлении изображения с разными формами испорченных областей. Также данная модель может использовать набросок пользователя в качестве входных данных.

Кроме того, в данной модели предлагается использовать вариант генеративно состязательной сети — SN-PatchGAN. Дискриминатор этой сети в каждой точке вычисляет кусочно-линейную функцию потерь, формируя таким образом [math]h \times w \times c[/math] генеративно состязательных сетей, каждая из которых сосредотачивается на различных частях и свойствах изображения.

Генератор, состоящий из двух сетей (грубой и сети повышающей качество изображения) имеет слой адаптации. Обе сети используют модель кодировщик-декодировщик вместо U-Net[4], в которой все слои классической свертки заменены на стробированные.

SC-FEGAN[5]

Пример работы модели SC-FEGAN.

Данная модель позволяет производить высококачественные изображения лиц, учитывая передаваемые пользователем эскизы и цвета на области маски (стертых частях изображения). Иными словами пользователь может легко редактировать изображения, стирая фрагменты, которые он хочет изменить, и подставляя туда эскизы и/или цвета, которые будут отражены в генерируемом фрагменте.

Основа данной сети patchGAN — дискриминатор принимает на вход несколько каналов изображения. В данном случае помимо выходного изображения генератора и маски, дискриминатор принимает еще слой пользовательского ввода (эскизы и цвета).

Итоговая функция потерь формируется из выхода дискриминатора и функций сравнения изображения с оригинальным (per-pixel loss, perceptual loss, style loss).

См. также

Примечания

  1. ↑ Very Deep Convolutional Networks for Large-Scale Image Recognition, Karen Simonyan, Andrew Zisserman
  2. ↑ Gramian matrix, Wikipedia
  3. ↑ Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang
  4. ↑ U-Net: Convolutional Networks for Biomedical Image Segmentation, Olaf Ronneberger, Philipp Fischer, Thomas Brox
  5. ↑ Face Editing Generative Adversarial Network with User's Sketch and Color, Youngjoo Jo, Jongyoul Park

Источники информации

Источник — «http://neerc.ifmo.ru/wiki/index.php?title=Вписывание_части_изображения&oldid=76694»