Задача трансляции изображений — различия между версиями

Материал из Викиконспекты
Перейти к: навигация, поиск
(Описание задачи)
(Убраны повторяющиеся ссылки.)
Строка 7: Строка 7:
 
}}
 
}}
  
[[Файл:Horse2zebra.gif|600px|thumb|right|Пример работы задачи трансляции изображения (CycleGAN)<ref>[https://github.com/junyanz/CycleGAN CycleGAN {{---}} GitHub]</ref> : взять лошадь и превратить ее в зебру, и наоборот.]]
+
[[Файл:Horse2zebra.gif|600px|thumb|right|Пример работы задачи трансляции изображения: взять лошадь и превратить ее в зебру, и наоборот. (CycleGan)<ref name="cycle">[https://github.com/junyanz/CycleGAN CycleGAN {{---}} GitHub]</ref>]]
  
 
== Описание задачи ==
 
== Описание задачи ==
Строка 14: Строка 14:
 
Различие заключается в том, что в одном случае, у нас есть четкое представление результата, который должен получиться, в то время как в другом случае, у нас есть только множество, определяющее стиль желаемого результата, но четкого результата нет.
 
Различие заключается в том, что в одном случае, у нас есть четкое представление результата, который должен получиться, в то время как в другом случае, у нас есть только множество, определяющее стиль желаемого результата, но четкого результата нет.
  
[[File:Paired_vs_unpaired_training_data.png|400px|right|thumb|Виды тренировочных данных для задачи трансляции изображений.]]
+
[[File:Paired_vs_unpaired_training_data.png|400px|right|thumb|Виды тренировочных данных для задачи трансляции изображений.]
  
 
=== Обучение на парных изображениях ===
 
=== Обучение на парных изображениях ===
Строка 37: Строка 37:
 
* приложение {{---}} взяли любую фотографию, например, поле с цветами; получили поле с цветами в стиле К.Моне.
 
* приложение {{---}} взяли любую фотографию, например, поле с цветами; получили поле с цветами в стиле К.Моне.
  
[[File:Examples_unpaired_translation.jpeg|700px|center|thumb|Примеры применения задачи трансляции изображения с непарными тренировочными данными. (CycleGan)<ref>[https://github.com/junyanz/CycleGAN CycleGAN {{---}} GitHub]</ref>]]
+
[[File:Examples_unpaired_translation.jpeg|700px|center|thumb|Примеры применения задачи трансляции изображения с непарными тренировочными данными. (CycleGan)<ref name="cycle">[https://github.com/junyanz/CycleGAN CycleGAN {{---}} GitHub]</ref>]]
  
 
== Pix2Pix ==
 
== Pix2Pix ==

Версия 16:20, 9 января 2021

Эта статья находится в разработке!


Определение:
Задача трансляции изображения (англ. Image-to-image translation) — это область задач компьютерного зрения, цель которой состоит в том, чтобы научиться строить соответствия между входным и выходным изображениями, используя тренировочные данные.
Другими словами, задача состоит в том, чтобы научиться преобразовывать изображение из одной области в другую, получая в итоге изображение со стилем (характеристиками) последней.


Пример работы задачи трансляции изображения: взять лошадь и превратить ее в зебру, и наоборот. (CycleGan)[1]

Описание задачи

Задача разделяется на два вида в зависимости от тренировочных данных.
Различие заключается в том, что в одном случае, у нас есть четкое представление результата, который должен получиться, в то время как в другом случае, у нас есть только множество, определяющее стиль желаемого результата, но четкого результата нет.

[[File:Paired_vs_unpaired_training_data.png|400px|right|thumb|Виды тренировочных данных для задачи трансляции изображений.]

Обучение на парных изображениях

Обучение трансляции изображения с помощью парных изображений — это сопряженная трансляция одного изображения в другое. То есть тренировочные данные состоят из такого множества изображений, где каждому входному изображению соответствует выходное изображение, содержащее первое с другим стилем.

Примерами приложения такой задачи являются следующие трансляции изображений:

  • черно-белое изображение — цветное
  • сегментация изображения (англ. segmentation map) — реальная картинка
  • линии-края (англ. edges) — фотография
  • генерация разных поз и одежды на человеке
  • описывающий изображение текст — фотография
Примеры применения задачи трансляции изображения с парными тренировочными данными. (Pix2Pix)[2]

Обучение на непарных изображениях

Обучение трансляции изображения с помощью непарных изображений — это такая трансляция изображений, тренировочные данные которой состоят из двух независимых групп, описывающих свой стиль, а цель которой является научиться отображать эти две группы так, чтобы содержание изображений (общее) сохранялось, а стиль (уникальные элементы изображений) переносился.

Пример:

  • тренировочные данные — два множества: {реальные фотографии}, {картины К.Моне}
  • приложение — взяли любую фотографию, например, поле с цветами; получили поле с цветами в стиле К.Моне.
Примеры применения задачи трансляции изображения с непарными тренировочными данными. (CycleGan)[1]

Pix2Pix

Pix2PixHD

См. также

Примечания

Источники информации