Задача трансляции изображений — различия между версиями
Spovar (обсуждение | вклад) м |
Spovar (обсуждение | вклад) м (Поправлены формулировки.) |
||
| Строка 7: | Строка 7: | ||
}} | }} | ||
| − | [[Файл:Horse2zebra.gif|600px|thumb|right|Пример работы | + | [[Файл:Horse2zebra.gif|600px|thumb|right|Пример работы трансляции изображения: превращение лошади в зебру, и наоборот. (CycleGan)<ref name="cycle">[https://github.com/junyanz/CycleGAN CycleGAN {{---}} GitHub]</ref>]] |
== Описание задачи == | == Описание задачи == | ||
| Строка 16: | Строка 16: | ||
[[File:Paired_vs_unpaired_training_data.png|400px|right|thumb|Виды тренировочных данных для задачи трансляции изображений.]] | [[File:Paired_vs_unpaired_training_data.png|400px|right|thumb|Виды тренировочных данных для задачи трансляции изображений.]] | ||
| − | === Обучение на | + | === Обучение на парах изображений === |
| − | ''' | + | '''Трансляции изображения на парах изображений''' — это сопряженная трансляция одного изображения в другое. То есть тренировочные данные состоят из такого множества изображений, где каждому входному изображению соответствует выходное изображение, содержащее первое с другим стилем. |
Примерами приложения такой задачи являются следующие трансляции изображений: | Примерами приложения такой задачи являются следующие трансляции изображений: | ||
| Строка 29: | Строка 29: | ||
[[File:Examples_paired_translation.jpg|700px|center|thumb|Примеры применения задачи трансляции изображения с парными тренировочными данными. (Pix2Pix)<ref>[https://github.com/phillipi/pix2pix Pix2Pix {{---}} GitHub]</ref>]] | [[File:Examples_paired_translation.jpg|700px|center|thumb|Примеры применения задачи трансляции изображения с парными тренировочными данными. (Pix2Pix)<ref>[https://github.com/phillipi/pix2pix Pix2Pix {{---}} GitHub]</ref>]] | ||
| − | === Обучение на | + | === Обучение на независимых множествах === |
| − | ''' | + | '''Трансляции изображения на независимых множествах''' — это такая трансляция изображений, тренировочные данные которой состоят из двух независимых групп, описывающих свой стиль, а цель которой является научиться отображать эти две группы так, чтобы содержание изображений (общее) сохранялось, а стиль (уникальные элементы изображений) переносился. |
Пример: | Пример: | ||
Версия 16:39, 9 января 2021
Эта статья находится в разработке!
| Определение: |
| Задача трансляции изображения (англ. Image-to-image translation) — это область задач компьютерного зрения, цель которой состоит в том, чтобы научиться строить соответствия между входным и выходным изображениями, используя тренировочные данные. Другими словами, задача состоит в том, чтобы научиться преобразовывать изображение из одной области в другую, получая в итоге изображение со стилем (характеристиками) последней. |
Пример работы трансляции изображения: превращение лошади в зебру, и наоборот. (CycleGan)[1]
Содержание
Описание задачи
Задача разделяется на два вида в зависимости от тренировочных данных.
Различие заключается в том, что в одном случае, у нас есть четкое представление результата, который должен получиться, в то время как в другом случае, у нас есть только множество, определяющее стиль желаемого результата, но четкого результата нет.
Обучение на парах изображений
Трансляции изображения на парах изображений — это сопряженная трансляция одного изображения в другое. То есть тренировочные данные состоят из такого множества изображений, где каждому входному изображению соответствует выходное изображение, содержащее первое с другим стилем.
Примерами приложения такой задачи являются следующие трансляции изображений:
- черно-белое изображение — цветное
- сегментация изображения (англ. segmentation map) — реальная картинка
- линии-края (англ. edges) — фотография
- генерация разных поз и одежды на человеке
- описывающий изображение текст — фотография
Примеры применения задачи трансляции изображения с парными тренировочными данными. (Pix2Pix)[2]
Обучение на независимых множествах
Трансляции изображения на независимых множествах — это такая трансляция изображений, тренировочные данные которой состоят из двух независимых групп, описывающих свой стиль, а цель которой является научиться отображать эти две группы так, чтобы содержание изображений (общее) сохранялось, а стиль (уникальные элементы изображений) переносился.
Пример:
- тренировочные данные — два множества:
{реальные фотографии}, {картины К.Моне} - приложение — взяли любую фотографию, например, поле с цветами; получили поле с цветами в стиле К.Моне.
Примеры применения задачи трансляции изображения с непарными тренировочными данными. (CycleGan)[1]
Pix2Pix
Pix2PixHD
См. также
- Компьютерное зрение
- Generative Adversarial Nets (GAN)
- Сверточные нейронные сети
- Сегментация изображений
