Задача трансляции изображений
Определение: |
Задача трансляции изображения (англ. Image-to-image translation) — это область задач компьютерного зрения, цель которой состоит в том, чтобы научиться строить соответствия между входным и выходным изображениями, используя тренировочные данные. |
Другими словами, задача состоит в том, чтобы научиться преобразовывать изображение из одной области в другую, получая в итоге изображение со стилем (характеристиками) последней.
Содержание
Описание задачи
Задача разделяется на два вида в зависимости от тренировочных данных.
Различие заключается в том, что в одном случае, у нас есть четкое представление результата, который должен получиться, в то время как в другом случае, у нас есть только множество, определяющее стиль желаемого результата, но четкого результата нет.
Обучение на парах изображений
Трансляция изображений, обученная на парах изображений — это сопряженная трансляция одного изображения в другое, где тренировочные данные состоят из такого множества изображений, где каждому входному изображению соответствует выходное изображение, содержащее первое с другим стилем.
Примерами приложения являются следующие трансляции изображений:
- черно-белое изображение — цветное
- сегментация изображения (англ. segmentation map) — реальная картинка
- линии-края (англ. edges) — фотография
- генерация разных поз и одежды на человеке
- описывающий изображение текст — фотография
Обучение на независимых множествах
Трансляция изображения, обученная на двух независимых множествах — это такая трансляция изображений, тренировочные данные которой состоят из двух независимых групп, каждая описывающая свой стиль, а цель которой является научиться отображать эти две группы так, чтобы содержание изображений (общее) сохранялось, а стиль (уникальные элементы изображений) переносился.
Пример:
- тренировочные данные — два множества:
{реальные фотографии}, {картины К.Моне}
- приложение — взяли любую фотографию, например, поле с цветами; получили поле с цветами в стиле К.Моне.
Pix2Pix
Pix2Pix — это попытка решения задачи трансляции изображений с помощью глубоких сверточных нейронных сетей.
Архитектура
Pix2Pix представляет собой условные порождающие состязательные сети (англ. CGAN) с модификациями, где для генератора взята U-Net[3]-основанная архитектура, а для дискриминатора используется сверточный классификатор PatchGAN[4], который штрафует структуру только в масштабе участков изображения.
Примеры
Pix2PixHD
См. также
- Компьютерное зрение
- Generative Adversarial Nets (GAN)
- Сверточные нейронные сети
- Сегментация изображений
Примечания
- ↑ 1,0 1,1 CycleGAN — GitHub
- ↑ Pix2Pix — GitHub
- ↑ [sci-hub.do/10.1007/978-3-319-24574-4_28 U-Net: Convolutional Networks for Biomedical Image Segmentation]
- ↑ [sci-hub.do/10.1007/978-3-319-46487-9_43 Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks]
Источники информации
- Image-to-Image Translation with Conditional Adversarial Networks
- High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs
- Learning image-to-image translation using paired and unpaired training samples
- Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
- Apply Generative Adversarial Networks (GANs) — Coursera