Задача трансляции изображений

Эта статья находится в разработке!

Определение:

Задача трансляции изображения (англ. Image-to-image translation) — это задача из области компьютерного зрения, цель которой состоит в том, чтобы научиться строить соответствия между входным и выходным изображениями, используя тренировочные данные.

Другими словами, задача состоит в том, чтобы научиться преобразовывать изображение из одной области в другую, получая в итоге изображение со стилем (характеристиками) последней.

Рис. 1. Пример трансляции изображения: превращение лошади в зебру.

Описание задачи

Задача разделяется на два типа в зависимости от тренировочных данных.
В одном случае, у нас есть четкое представление результата, который должен получиться, а в другом случае, его нет, но есть множество, определяющее стиль желаемого результата (Рис. 2).

Рис. 2. Виды тренировочных данных для трансляции изображений.

Обучение на парах изображений

Алгоритм трансляции изображений, обученный на парах изображений — это алгоритм трансляции одного изображения в другое, где тренировочные данные состоят из множества, в котором каждому входному изображению соответствует выходное изображение, содержащее первое с другим стилем.

Примерами приложения этого алгоритма являются следующие трансляции изображений:

• черно-белое изображение — цветное;
• сегментация изображения (англ. segmentation map) — реальная картинка;
• линии-края (англ. edges) — фотография;
• генерация разных поз и одежды на человеке;
• описывающий изображение текст — фотография.

Некоторые примеры изображены на Рис. 3.

Рис. 3. Примеры применения алгоритма трансляции изображений, обученном на парных тренировочных данных. (Pix2Pix)

Обучение на независимых множествах

Алгоритм трансляции изображений, обученный на двух независимых множествах — это такой алгоритм трансляции изображений, тренировочные данные которого состоят из двух независимых групп, описывающих свой стиль, цель которого научиться отображать одну группу в другую так, чтобы содержание изображений (общее) сохранялось, а стиль (уникальные элементы изображений) переносился.

Пример:

• тренировочные данные — два множества: {реальные фотографии}, {картины К. Моне};
• приложение — взяли любую фотографию, например, поле с цветами; получили поле с цветами в стиле К. Моне.

Рис. 4. Примеры применения алгоритма трансляции изображений, обученном на двух независимых множествах. (CycleGan)

Pix2Pix

Pix2Pix — это подход для трансляции изображений с помощью глубоких сверточных нейронных сетей.

Архитектура

Рис. 5. Пример процесса обучения генератора и дискриминатора для Pix2Pix.

Pix2Pix реализует архитектуру условных порождающих состязательных сетей (англ. CGAN), где для генератора взята архитектура, основанная на U-Net, а для дискриминатора используется сверточный классификатор PatchGAN, который штрафует алгоритм на уровне участков изображения.

Генератор CGAN'a работает следующим образом: на вход подается one-hot вектор класса x и вектор шума z, в результате прохода через условный генератор выдается сгенерированное изображение этого класса. Таким образом, генератор можно представить, как следующую функцию: [math]G: \{x,z\} \to y[/math].
Генератор Pix2Pix работает cхожим образом, но вместо вектора класса подается изображение, а вектор шума и вовсе убирается, потому что он не вносит достаточно стохастичности в результат работы генератора.

Генератор обучается создавать максимально правдоподобные выходные изображения, дискриминатор же учится как можно лучше отличать фальшивые изображения от реальных.

Генератор

Рис. 6. Архитектура Pix2Pix генератора.

Для генератора Pix2Pix используется U-net-генератор.
U-net-генератор — это модель encoder-decoder с добавлением пропускаемых соединений (англ. skip-connections) между зеркальными слоями в стеках кодировщика и декодера.

Алгоритм работы генератора:

• на вход подается изображение;
• далее последовательно применяются свертка, батч-нормализация (англ. Batch Norm layer), функция активации LeakyReLU и пулинг, что, тем самым, уменьшает количество признаков;
• при этом, следуя архитектуре U-net, добавляются пропускаемые соединения между каждым слоем [math]i[/math] и слоем [math]n - i[/math], где [math]n[/math] — общее количество слоев; каждое пропускаемое соединение просто объединяет все каналы на уровне [math]i[/math] с другими на слое [math]n - i[/math]; таким образом, информация, которая могла быть сильно сжата (потеряна), может доходить до некоторых более поздних слоев;
• после того, как получен слой минимального размера, начинается работа декодера, который делает то же, что и кодировщик, с отличием в слое, обратном пулингу, который увеличивает количество признаков;
• также в декодере добавляется dropout, чтобы достигнуть стохастичности на выходе генератора.

Генератор должен не только обмануть дискриминатор, но и приблизиться к истине, поэтому его функция ошибки выглядит следующим образом:
[math]L(G) = BCE\,Loss[/math] [math]+\,\lambda*\sum_{i=1}^{n}|generated\_output - real\_output|[/math], где [math]|generated\_output - real\_output|[/math] — попиксельная разница.

Дискриминатор

Рис. 7. Архитектура PatchGAN дискриминатора.

Для дискриминатора данной сети используется сверточный дискриминатор PatchGAN.

PatchGAN дискриминатор — это тип дискриминатора для генеративных состязательных сетей, который штрафует алгоритм на уровне локальных фрагментов (патчей).
Дискриминатор PatchGAN пытается определить, является ли каждый фрагмент размера [math]N\times N[/math] изображения настоящим или поддельным. Этот дискриминатор сверточно запускается по изображению, усредняя все ответы, чтобы посчитать окончательный результат [math]D[/math].
Проще говоря, для каждого фрагмента определяется матрица классификаций, где все значения находятся в промежутке [math][0,1][/math], где [math]0[/math] — подделка. Проходясь сверткой, в итоге получаем конечную матрицу классификаций. Таким образом, для поддельного изображения от генератора PatchGan должен попытаться вывести матрицу нулей.
Интересно, что [math]N[/math] может быть намного меньше полного размера изображения и при этом давать результаты высокого качества. Это выгодно, потому что меньший PatchGAN имеет меньше параметров, работает быстрее и может применяться к изображениям большого размера.
Такой дискриминатор эффективно моделирует изображение как Марковское случайное поле, предполагая независимость между пикселями, разделенных диаметром более одного фрагмента.

Полное описание архитектуры

Для того, чтобы описать полный порядок работы Pix2Pix, обратимся к примеру:

Пусть у вас есть набор пар, состоящий из реальных фотографий и их сегментаций. Задача состоит в том, чтобы  научиться генерировать из сегментированных изображений реальные.

• помещается сегментированное изображение в генератор U-Net, и он генерирует некоторый выход;
• дальше сгенерированное изображение соединяется с исходным входным сегментированным изображением, и это все идет в PatchGan дискриминатор, который выводит матрицу классификации, состоящую из значений между 0 и 1, которая показывает, насколько реальны или поддельны разные части этого изображения;
• затем для вычисления ошибки дискриминатора проводится 2 сравнения:
  • сравнение матрицы классификации от {объединения сгенерированного изображения с исходным входным сегментированным изображением} с матрицей из всех 0;
  • матрицы классификация от {объединения реального изображения с исходным входным сегментированным изображением} с матрицей из всех 1;
• затем для вычисления ошибки генератора проводится сравнение матрицы классификации от {объединения сгенерированного изображения с исходным входным изображением} с матрицей из всех 1, которое считается с помощью BCE Loss, которое впоследствии суммируется с попиксельным сравнением реального изображения со сгенерированным, домноженным на [math]\lambda[/math];

Рис. 8. Архитектура Pix2Pix.

Примеры

Для тестирования решения были проведены следующие эксперименты:

• сегментированные изображения [math]\leftrightarrow[/math] фотографии;
• нарисованная карта [math]\leftrightarrow[/math] фотоснимок;
• черно-белые фотографии [math]\to[/math] цветные фотографии;
• линии-края [math]\to[/math] фотографии;
• эскизы-рисунки [math]\to[/math] фотографии;
• день [math]\to[/math] ночь;

и так далее.

Рис. 9. Примеры Pix2Pix.

Pix2PixHD

Рис. 10. Генератор Pix2PixHD.

Pix2PixHD— нейронная сеть, основанная на архитектуре Pix2Pix, которая является новым удачным подходом для решения задачи получения изображений высокого разрешения из сегментированных изображений.

Основа Pix2Pix была улучшена за счет изменений в генераторе, дискриминаторе и функции ошибки.

Генератор был разбит на две подсети [math]G_1[/math] и [math]G_2[/math] так, что первая приняла роль глобальной сети генератора, а вторая стала локальным усилителем сети. Таким образом, генератор стал задаваться набором [math]G = \{G1, G2\}[/math]. Глобальная сеть генератора работает с изображениями с разрешением [math]1024 × 512[/math], в то время как локальный усилитель сети принимает на вход изображения с разрешением в 4 раза больше размера вывода предыдущей сети. Для получения изображений большего разрешения могут быть добавлены дополнительные локальные усилители сети.

Чтобы различать реальные и синтезированные изображения с высоким разрешением, дискриминатор должен иметь большое поле восприятия. Для этого потребуется либо более глубокая сеть, либо более крупные сверточные ядра, оба из которых увеличат емкость сети и потенциально могут вызвать переобучение. Кроме того, оба варианта требуют большего объема памяти для обучения, что уже является дефицитным ресурсом для создания изображений с высоким разрешением. Для решения проблемы предлагаем используется 3 дискриминатора, которые имеют идентичную структуру сети, но работают с разными масштабами изображения.

Функция ошибки была улучшена за счет добавления ошибки (feature matching loss) в разных масштабах изображения для каждого дискриминатора [math]\sum_{k=1}^{3} L_{FM}(G, D_k)[/math], для вычисления которой будем использовать выдаваемые значения дискриминатора на разных слоях изображения: [math]L_{FM}(G, D_k) = \mathbb{E}_{(s,x)}\sum_{i=1}^{T}\frac{1}{N_i}[||D_k^{(i)}(s,x) - D_k^{(i)}(s, G(s))||][/math], где [math]T[/math] — количество слоев, [math]N_i[/math] — количество элементов в каждом слое, [math]s[/math] — исходное сегментированное изображение, [math]x[/math] — соответствующее реальное изображение, [math]G(s)[/math] — сгенерированное изображение.

На рисунках 11 и 12 приведены примеры генерации изображения по входным сегментированным изображениям с применением различных стилей.

Рис. 11. Пример работы Pix2PixHD — label-to-streetview.

Рис. 12. Пример работы Pix2PixHD — label-to-face.

CycleGAN

Рис. 13. Алгоритм CycleGAN

Нейронная сеть, в отличии от описанной выше Pix2Pix позволяет реализовать решение задачи обучения на независимых множествах. Обычно применяются для задач изменения стиля фотографий.

Архитектура

CycleGAN реализует архитектуру циклически-согласованных состязательных сетей (англ. — Cycle-Consistent Adversarial Networks), суть которой состоит в решении проблемы отсутствия парного набора данных.

В Архитектуре присутствуют 2 генератора и 2 дискриминатора которые выполняют различные задачи:

• Генератор [math]G_{A}[/math] учится преобразовывать исходное изображение [math]X[/math] в выходное изображение [math]Y[/math]
• Генератор [math]G_{B}[/math] учится преобразовывать выходное изображение [math]Y[/math] в исходное изображение [math]X[/math]
• Дискриминатор [math]D_{A}[/math] учится различать изображение [math]X[/math] и сгенерированное изображение [math]X ( G_{B}(Y) )[/math]
• Дискриминатор [math]D_{B}[/math] учится различать изображение [math]Y[/math] и сгенерированное изображение [math]Y ( G_{A}(X) )[/math]

Структура генератора состоит из кодировщика (англ. — Encoder), создающего функцию особенностей из исходного изображения, трансформатора (англ. — Transformation), изменяющего функцию особенностей для создания сгенерированного изображения, и декодера (англ. — Decoder), возвращающего функцию особенностей обратно в формат изображения. Структура дискриминатора состоит из декодера, извлекающего особенности из входного изображения, и классификатора, определяющего сгенерировано ли изображение.

Рис. 14. Архитектура Генератора

Рис. 15. Архитектура Дискриминатора

Реализация элементов дискриминатора и генератора аналогичны тем, которые используются в Pix2Pix.

Сеть предоставляет подход перевода изображения из исходного домена [math]X[/math] в целевой домен [math]Y[/math] при отсутствии парных примеров. Цель задачи в изучении отображения [math]G{A}: X → Y [/math], так, чтобы распределение изображений [math]G_{A}(X)[/math] было неотличимо от распределения [math]G_{B}(Y)[/math] с учетом состязательной потери (aнгл. — Сonsistency loss). Также чтобы избежать коллапса мод(англ. — Mode collapse), следует проверить отображение [math]G : Y → X [/math], который пытается сопоставить [math]Y[/math] и [math]X[/math].

Другими словами для выполнения успешного преобразования должно выполниться следующее условие [math]G_{B}(G_{A}(X)) \sim X + Loss_{full}. [/math]

Функция потери

Функция потери должна быть выполнена таким образом, что все отображения должны быть противоположными друг другу и взаимно однозначными.

Она состоит из потери согласованности цикла (англ. — Cycle Consistency Loss) и состязательной потери (англ. — Adversarial loss).

[math]Loss_{adv}(G,D_{B},X) = \frac{1}{m}(\sum_{i=1}^m(1 -D_{B}(G_{Xi})))*2[/math]

[math]Loss_{adv}(F,D_{A},Y) = \frac{1}{m}(\sum_{i=1}^m(1 -D_{A}(F_{Yi}))*2[/math]

[math]Loss_{cyc}(G,F,X,Y) = \frac{1}{m}\sum_{i=1}^m(F(G(Xi) - Xi) + (G(F(Yi)) - Yi))[/math]

[math]Loss_{full} = Loss_{adv} + \lambda * Loss_{cyc}[/math],

где [math]\lambda[/math] — гиперпараметр для уравнения потери согласованности цикла

Рис. 16. Пример работы CycleGAN

Рис. 17. Пример работы CycleGAN

См. также

• Компьютерное зрение
• Generative Adversarial Nets (GAN)
• Сверточные нейронные сети
• Сегментация изображений

Источники информации

• Image-to-Image Translation with Conditional Adversarial Networks
• High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs
• Learning image-to-image translation using paired and unpaired training samples
• Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
• Apply Generative Adversarial Networks (GANs) — Coursera