Вписывание части изображения

Эта статья находится в разработке!

Inpainting — процесс восстановление испорченных или утраченных частей изображений и видео. В основном, этот процесс происходит, используя фоновую информацию и заполняя недостающие данные в определенной области визуального ввода.

Методы данной области применяются как для восстановления изображений, часть которых была утрачена или подвержена некоторым дефектам, так и для редактирования изображений. С помощью современных моделей можно вырезать ненужные объекты (например, лишних людей на фотографиях), а также гибко редактировать изображения (например изменить цвет глаз у человека на фото).

(a) - оригинальное изображение, (b) - изображение со стертыми частями, (с) - изображение, полученное в результате inpainting

Виды вписывания

Пример устранения наложенного текста на изобрежении. В данном случае текстом покрыто 18.77% площади.

Задача inpainting обычно разделяется на две задачи:

• Non-blind inpainting - информация о том, какие пиксели в изображении нужно заменить, подается на вход модели.
• Blind inpainting - модель должна сама определить, где на изображении пиксели, которые нужно заменить. Эту задачу также называют denoising (устранение шума), так как модели blind inpainting почти всегда устраняют именно шумы. В качестве шума может быть как примененный фильтр к изображению, так и наложенный текст. Пример работы модели удаления наложенного текста приведен на картинке справа.

В конспекте далее речь пойдет только про non-blind inpainting.

Простые методы

Для решения данной задачи существуют несколько разных методов. В этой части речь пойдет о простых решениях. Почти все простые методы основаны на следующей концепции: заполнение отсутствующих частей пикселями, идентичными соседним пикселям или похожими на них. Такие методы часто зависят от множества факторов и наиболее подходят для задачи устранения шума или небольших дефектов изображения. Но на изображениях, где отсутствует значительная часть данных, эти методы дают плохое качество выходного изображения.

Есть два основных простых способа восстанавливать данные:

1. Быстрый пошаговый метод (англ. Fast marching method). Этот метод двигается от границ области, которую нужно закрасить, к ее эпицентру, постепенно закрашивая пиксели. Каждый новый пиксель вычисляется как взвешенная сумма известных соседних пикселей.
2. Метод Навье - Стокса (англ. Navier-Stokes method). Метод основывается на том, что грани объектов в изображении должны быть непрерывными. Цвета пикселей вычисляются на основе известных областей около граней. Метод основывается на дифференциальных уравнениях в частных производных.