Изменения

'''Задача трансляции изображения (англ. Image-to-image translation)''' — это область задач задача из области [[ Компьютерное зрение| компьютерного зрения]], цель которой состоит в том, чтобы научиться строить соответствия между входным и выходным изображениями, используя тренировочные данные.

[[Файл:Horse2zebraHorse2Zebra.gif|600pxpng|thumb|right|Рис. 1. Пример работы трансляции изображения: превращение лошади в зебру, и наоборот. (CycleGan)<ref name="cycle">[https://github.com/junyanz/CycleGAN CycleGAN {{---}} GitHub]</ref>]]

Задача разделяется на два вида типа в зависимости от тренировочных данных. <br>Различие заключается в том, что в В одном случае, у нас есть четкое представление результата, который должен получиться, в то время как а в другом случае, у нас его нет, но есть только множество, определяющее стиль желаемого результата, но четкого результата нет(Рис. [[File:Paired_vs_unpaired_training_data.png|400px|right|thumb|Виды тренировочных данных для задачи трансляции изображений2).]]

'''Трансляция Алгоритм трансляции изображений, обученная обученный на парах изображений''' — это сопряженная трансляция алгоритм трансляции одного изображения в другое, где тренировочные данные состоят из такого множества изображений, где в котором каждому входному изображению соответствует выходное изображение, содержащее первое с другим стилем.

Примерами приложения этого алгоритма являются следующие трансляции изображений:* черно-белое изображение {{---}} цветное;* сегментация изображения (англ. segmentation map) {{---}} реальная картинка;* линии-края (англ. edges) {{---}} фотография;* генерация разных поз и одежды на человеке;* описывающий изображение текст {{---}} фотография.Некоторые примеры изображены на Рис. 3.[[File:Examples_paired_translation.jpg|700px|center|thumb|Рис. 3. Примеры применения задачи алгоритма трансляции изображения с парными тренировочными даннымиизображений, обученном на парных тренировочных данных. (Pix2Pix)<refname="pix">[https://github.com/phillipi/pix2pix Pix2Pix {{---}} GitHub]</ref>]]

'''Трансляция изображенияАлгоритм трансляции изображений, обученная обученный на двух независимых множествах''' — это такая трансляция такой алгоритм трансляции изображений, тренировочные данные которой которого состоят из двух независимых групп, каждая описывающая описывающих свой стиль, а цель которой является которого научиться отображать эти две группы одну группу в другую так, чтобы содержание изображений (общее) сохранялось, а стиль (уникальные элементы изображений) переносился.

* тренировочные данные {{---}} два множества: <code>{реальные фотографии}, {картины К.Моне}</code>;* приложение {{---}} взяли любую фотографию, например, поле с цветами; получили поле с цветами в стиле К.Моне.

[[File:Examples_unpaired_translation.jpeg|700px|center|thumb|Рис. 4. Примеры применения задачи алгоритма трансляции изображения с непарными тренировочными даннымиизображений, обученном на двух независимых множествах. (CycleGan)<ref name="cycle">[https://github.com/junyanz/CycleGAN CycleGAN {{---}} GitHub]</ref>]]

Pix2Pix<ref name="pix">[https://github.com/phillipi/pix2pix Pix2Pix {{---}} GitHub]</ref> {{---}} это попытка решения задачи подход для трансляции изображений с помощью глубоких [[:Сверточные нейронные сети|сверточных нейронных сетей]].

[[File:Training_CGAN_pix2pix.png|400px|right|thumb|Рис. 5. Пример процесса обучения генератора и дискриминатора для Pix2Pix. <ref name="towardsdatascience">[https://towardsdatascience.com/pix2pix-869c17900998 Pix2Pix {{---}} Towardsdatascience]</ref>]] Pix2Pix реализует архитектуру [[Generative Adversarial Nets (GAN)#CGAN_.28Conditional_Generative_Adversarial_Nets.29| условных порождающих состязательных сетей ]](англ. CGAN), где для генератора взята архитектура, основанная на U-Net<refname="unet">[https://sci-hub.do/10.1007/978-3-319-24574-4_28 U-Net: Convolutional Networks for Biomedical Image Segmentation]</ref>-основанная архитектура, а для дискриминатора используется сверточный классификатор PatchGAN<refname="patch">[https://sci-hub.do/10.1007/978-3-319-46487-9_43 Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks]</ref>, который штрафует структуру только алгоритм на уровне участков изображения. Генератор CGAN'a работает следующим образом: на вход подается one-hot вектор класса x и вектор шума z, в результате прохода через условный генератор выдается сгенерированное изображение этого класса. Таким образом, генератор можно представить, как следующую функцию: <tex>G: \{x,z\} \to y</tex>. <br>Генератор Pix2Pix работает cхожим образом, но вместо вектора класса подается изображение, а вектор шума и вовсе убирается, потому что он не вносит достаточно стохастичности в масштабе участков результат работы генератора. Генератор обучается создавать максимально правдоподобные выходные изображения, дискриминатор же учится как можно лучше отличать фальшивые изображенияот реальных.==== Генератор ==== [[File:U-Net-Generator-Model.png|400px|right|thumb|Рис. 6. Архитектура Pix2Pix генератора. <ref name="machinelearningmastery">[https://machinelearningmastery.com/how-to-implement-pix2pix-gan-models-from-scratch-with-keras/ Pix2Pix GAN Models {{---}} Machine Learning Mastery]</ref>]] Для генератора Pix2Pix используется U-net-генератор.<br>'''U-net-генератор'''<ref name="unet">[https://sci-hub.do/10.1007/978-3-319-24574-4_28 U-Net: Convolutional Networks for Biomedical Image Segmentation]</ref> {{---}} это модель encoder-decoder с добавлением пропускаемых соединений (англ. ''skip-connections'') между зеркальными слоями в стеках кодировщика и декодера. Алгоритм работы генератора:* на вход подается изображение;* далее последовательно применяются свертка, [[Batch-normalization | батч-нормализация]] (англ. Batch Norm layer), функция активации LeakyReLU и пулинг, что, тем самым, уменьшает количество признаков;* при этом, следуя архитектуре U-net, добавляются пропускаемые соединения между каждым слоем <tex>i</tex> и слоем <tex>n - i</tex>, где <tex>n</tex> {{---}} общее количество слоев; каждое пропускаемое соединение просто объединяет все каналы на уровне <tex>i</tex> с другими на слое <tex>n - i</tex>; таким образом, информация, которая могла быть сильно сжата (потеряна), может доходить до некоторых более поздних слоев;* после того, как получен слой минимального размера, начинается работа декодера, который делает то же, что и кодировщик, с отличием в слое, обратном пулингу, который увеличивает количество признаков;* также в декодере добавляется dropout, чтобы достигнуть стохастичности на выходе генератора. Генератор должен не только обмануть дискриминатор, но и приблизиться к истине, поэтому его '''функция ошибки''' выглядит следующим образом: <br><tex>L(G) = BCE\,Loss</tex><ref>[https://towardsdatascience.com/understanding-binary-cross-entropy-log-loss-a-visual-explanation-a3ac6025181a BCE Loss {{---}} towardsdatascience]</ref> <tex>+\,\lambda*\sum_{i=1}^{n}|generated\_output - real\_output|</tex>, где <tex>|generated\_output - real\_output|</tex> {{---}} попиксельная разница. ==== Дискриминатор ====  [[File:The-PatchGAN-structure-in-the-discriminator-architecture.png|400px|right|thumb|Рис. 7. Архитектура PatchGAN дискриминатора. <ref name="researchgate">[https://www.researchgate.net/figure/The-PatchGAN-structure-in-the-discriminator-architecture_fig5_339832261 The PatchGAN structure {{---}} ResearchGate]</ref>]]

Генератор CGAN'a работает следующим образом: на вход подается one-hot вектор класса x и вектор шума z, в результате прохода через условный генератор выдается сгенерированное изображение этого класса, <tex>G: \{x,z\} \to y</tex>. <br>В генератор Pix2Pix работает похожим образом, но вместо вектора класса подается изображение, а вектор шума и вовсе убирается, потому что он не вносит значительной случайности для результата работы генератораДля дискриминатора данной сети используется сверточный дискриминатор PatchGAN.

Генератор обучается с целью'''PatchGAN дискриминатор'''<ref name="patch">[https://sci-hub.do/10.1007/978-3-319-46487-9_43 Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks]</ref> {{---}} это тип дискриминатора для генеративных состязательных сетей, который штрафует алгоритм на уровне локальных фрагментов (патчей).<br>Дискриминатор PatchGAN пытается определить, является ли каждый фрагмент размера <tex>N\times N</tex> изображения настоящим или поддельным. Этот дискриминатор сверточно запускается по изображению, усредняя все ответы, чтобы его выходящие посчитать окончательный результат <tex>D</tex>.<br>Проще говоря, для каждого фрагмента определяется матрица классификаций, где все значения находятся в промежутке <tex>[0,1]</tex>, где <tex>0</tex> {{---}} подделка. Проходясь сверткой, в итоге получаем конечную матрицу классификаций. Таким образом, для поддельного изображения от генератора PatchGan должен попытаться вывести матрицу нулей. <br>Интересно, что <tex>N</tex> может быть намного меньше полного размера изображения максимально правдоподобнымии при этом давать результаты высокого качества. Это выгодно, потому что меньший PatchGAN имеет меньше параметров, работает быстрее и может применяться к изображениям большого размера.<br>Такой дискриминатор же учится эффективно моделирует изображение как можно лучше отличать фальшивые изображения от реальныхМарковское случайное поле<ref>[https://en.wikipedia.org/wiki/Markov_random_field Markov random field {{---}} Wikipedia]</ref>, предполагая независимость между пикселями, разделенных диаметром более одного фрагмента.

==== Полное описание архитектуры ==== Для того, чтобы описать полный порядок работы Pix2Pix, обратимся к примеру: Пусть у вас есть набор пар, состоящий из реальных фотографий и их сегментаций. Задача состоит в том, чтобы  научиться генерировать из сегментированных изображений реальные. * помещается сегментированное изображение в генератор U-Net, и он генерирует некоторый выход; * дальше сгенерированное изображение соединяется с исходным входным сегментированным изображением, и это все идет в PatchGan дискриминатор, который выводит матрицу классификации, состоящую из значений между 0 и 1, которая показывает, насколько реальны или поддельны разные части этого изображения;* затем для вычисления ошибки дискриминатора проводится 2 сравнения:** сравнение матрицы классификации от {объединения сгенерированного изображения с исходным входным сегментированным изображением} с матрицей из всех 0;** матрицы классификация от {объединения реального изображения с исходным входным сегментированным изображением} с матрицей из всех 1;* затем для вычисления ошибки генератора проводится сравнение матрицы классификации от {объединения сгенерированного изображения с исходным входным изображением} с матрицей из всех 1, которое считается с помощью BCE Loss, которое впоследствии суммируется с попиксельным сравнением реального изображения со сгенерированным, домноженным на <tex>\lambda</tex>; [[File:Training_CGAN_pix2pixPix2pix-UNet-128-GAN-network-architecture.png|700px|center|thumb|Пример процесса обучения генератора и дискриминатора для Рис. 8. Архитектура Pix2Pix.<ref name="researchgate2">[https://www.researchgate.net/figure/Pix2pix-UNet-128-GAN-network-architecture_fig2_324962509 Pix2pix UNet_128 GAN network architecture {{---}} ResearchGate]</ref>]]