Задача трансляции изображений

Эта статья находится в разработке!

Определение:

Задача трансляции изображения (англ. Image-to-image translation) — это область задач компьютерного зрения, цель которой состоит в том, чтобы научиться строить соответствия между входным и выходным изображениями, используя тренировочные данные. Другими словами, задача состоит в том, чтобы научиться преобразовывать изображение из одной области в другую, получая в итоге изображение со стилем (характеристиками) последней.

Пример работы задачи трансляции изображения: взять лошадь и превратить ее в зебру, и наоборот. (CycleGan)

Описание задачи

Задача разделяется на два вида в зависимости от тренировочных данных.
Различие заключается в том, что в одном случае, у нас есть четкое представление результата, который должен получиться, в то время как в другом случае, у нас есть только множество, определяющее стиль желаемого результата, но четкого результата нет.

Виды тренировочных данных для задачи трансляции изображений.

Обучение на парных изображениях

Обучение трансляции изображения с помощью парных изображений — это сопряженная трансляция одного изображения в другое. То есть тренировочные данные состоят из такого множества изображений, где каждому входному изображению соответствует выходное изображение, содержащее первое с другим стилем.

Примерами приложения такой задачи являются следующие трансляции изображений:

• черно-белое изображение — цветное
• сегментация изображения (англ. segmentation map) — реальная картинка
• линии-края (англ. edges) — фотография
• генерация разных поз и одежды на человеке
• описывающий изображение текст — фотография

Примеры применения задачи трансляции изображения с парными тренировочными данными. (Pix2Pix)

Обучение на непарных изображениях

Обучение трансляции изображения с помощью непарных изображений — это такая трансляция изображений, тренировочные данные которой состоят из двух независимых групп, описывающих свой стиль, а цель которой является научиться отображать эти две группы так, чтобы содержание изображений (общее) сохранялось, а стиль (уникальные элементы изображений) переносился.

Пример:

• тренировочные данные — два множества: {реальные фотографии}, {картины К.Моне}
• приложение — взяли любую фотографию, например, поле с цветами; получили поле с цветами в стиле К.Моне.

Примеры применения задачи трансляции изображения с непарными тренировочными данными. (CycleGan)

См. также

• Компьютерное зрение
• Generative Adversarial Nets (GAN)
• Сверточные нейронные сети
• Сегментация изображений