Вписывание части изображения

Эта статья находится в разработке!

Inpainting — процесс восстановление испорченных или утраченных частей изображений и видео. В основном, этот процесс происходит, используя фоновую информацию и заполняя недостающие данные в определенной области визуального ввода.

Методы данной области применяются как для восстановления изображений, часть которых была утрачена или подвержена некоторым дефектам, так и для редактирования изображений. С помощью современных моделей можно вырезать ненужные объекты (например, лишних людей на фотографиях), а также гибко редактировать изображения (например изменить цвет глаз у человека на фото).

Виды вписывания

Пример устранения наложенного текста на изобрежении. В данном случае текстом покрыто 18.77% площади.

Задача inpainting обычно разделяется на две задачи:

• Non-blind inpainting - информация о том, какие пиксели в изображении нужно заменить, подается на вход модели.
• Blind inpainting - модель должна сама определить, где на изображении пиксели, которые нужно заменить. Эту задачу также называют denoising (устранение шума), так как модели blind inpainting почти всегда устраняют именно шумы. В качестве шума может быть как примененный фильтр к изображению, так и наложенный текст. Пример работы модели удаления наложенного текста приведен на картинке №???

В конспекте далее речь пойдет только про non-blind inpainting.