128
правок
Изменения
→Примеры современных моделей
=== DeepFillv2<ref>[https://github.com/run-youngjoo/SC-FEGAN Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]</ref> ===
{| |- |[[Файл:DeepFillv2_model.jpeg|thumb|450px|Сеть DeepFillv2.]] |Главная идея этой модели {{---}} использование стробированной свертки, которая позволила добиться хорошего качества вписывания при восстановлении изображения с разными формами испорченных областей. Также можно использовать рисунок пользователя в качестве входных данных.
В данной модели используется вариант генеративно-состязательной сети {{---}} SN-PatchGAN. Дискриминатор этой сети в каждой точке вычисляет кусочно-линейную функцию потерь, формируя таким образом <tex>h \times w \times c</tex> генеративно-состязательных сетей, каждая из которых сосредотачивается на различных частях и свойствах изображения. Генератор, состоящий из двух сетей (грубой и сети повышающей качество изображения), используют модель кодировщик-декодировщик вместо U-Net<ref>[https://arxiv.org/pdf/1505.04597.pdf U-Net: Convolutional Networks for Biomedical Image Segmentation, Olaf Ronneberger, Philipp Fischer, Thomas Brox]</ref>, в которой все слои классической свертки заменены на стробированные.
|}
----
=== SC-FEGAN<ref>[https://github.com/run-youngjoo/SC-FEGAN Face Editing Generative Adversarial Network with User's Sketch and Color, Youngjoo Jo, Jongyoul Park]</ref> ===
{| |- |[[Файл:sc-fegan_result.jpg|thumb|450px|Пример работы модели SC-FEGAN.]] |SC-FEGAN позволяет производить высококачественные изображения лиц, учитывая передаваемые пользователем эскизы на местах стертых частей изображения. Иными словами пользователь может легко редактировать изображения, стирая фрагменты, которые он хочет изменить, и подставляя туда эскизы, которые будут отражены в генерируемом фрагменте.
Дискриминатор данной сети принимает на вход сгенерированное изображение, маску и рисунок пользователя. Итоговая функция потерь формируется из выхода дискриминатора и функций сравнения изображения с оригинальным (per-pixel loss, perceptual loss, style loss).
|}
----
{|
|- |[[Файл:EdgeConnect_sample.jpg|thumb|450px|Пример работы модели EdgeConnect.]] |} {| |- |[[Файл:EdgeConnect_network.jpg|thumb|1000px|Сеть EdgeConnect. <tex>G_1</tex> {{---}} генератор границ, <tex>G_2</tex> {{---}} генератор изображения, <tex>D_1</tex> и <tex>D_2</tex> {{---}} дискриминаторы.]] |}
EdgeConnect разбивает задачу вписывания на две части:
# Выделение границ изображения и предсказание границ утраченной части изображения.
Также данную модель можно использовать для соединения двух изображений или удаления лишних объектов с фотографий.
|[[Файл:EdgeConnect_sample.jpg|thumb|450px|Пример работы модели EdgeConnect.]]
|}
{|align="center"
|-valign="top"
|[[Файл:EdgeConnect_network.jpg|thumb|1000px|Сеть EdgeConnect. <tex>G_1</tex> {{---}} генератор границ, <tex>G_2</tex> {{---}} генератор изображения, <tex>D_1</tex> и <tex>D_2</tex> {{---}} дискриминаторы.]]
|}
----
=== Deep Image Prior<ref>[https://arxiv.org/pdf/1711.10925v4.pdf Deep Image Prior, Dmitry Ulyanov, Andrea Vedaldi, Victor Lempitsky]</ref> ===
[[Файл:DeepImagePrior_minimization.jpeg|thumb|550px|Визуализации минимизации функции потерь в модели Deep Image Prior.]]
Как известно, большинство методов глубокого обучения требуют больших наборов данных для тренировки. В отличие от них Deep Image Prior не требует никакой предварительной обучающей выборки кроме одного изображения, которое надо исправить. Для этого сеть учится извлекать полезную информации из самого обрабатываемого изображения. Данный метод применяется для таких задач как вписывание части изображения, удаление шума и увеличение разрешения фотографий.
<tex>E(x, x_0)</tex> {{---}} это функция потерь, зависящая от решаемой задачи, а <tex>f_{\theta}(z)</tex> {{---}} некоторая сверточная сеть.
Алгоритм решения задачи:
