Изменения

==Проблема запутывания (Проблема связанности характеристик)Проблемы обучения GAN==

Сложность с генеративно состязательными сетями заключается Большинство GAN'ов подвержено следующим проблемам:* Схлопывание мод распределения (англ. mode collapse): генератор коллапсирует, то есть выдает ограниченное количество разных образцов.* Проблема стабильности обучения (англ. non-convergence): параметры модели дестабилизируются и не сходятся.* Исчезающий градиент (англ. diminished gradient): дискриминатор становится слишком "сильным", а градиент генератора исчезает и обучение не происходит.* Проблема запутывания (англ. disentanglement problem): выявление корреляции в признаках, не связанных (слабо связанных) в томреальном мире.* Высокая чувствительность к гиперпараметрам. Часть этих проблем будет рассмотрена подробнее ниже, но нужно заметить, что непонятноуниверсального подхода к решению большинства из них нет. Зато существуют практические советы<ref> [https://github.com/soumith/ganhacks How to Train a GAN? Tips and tricks to make GANs work]</ref>, как им удается определять конкретные различные характеристикикоторые могут помочь при обучении GAN'ов. Основными из них являются:# Нормализация данных. Все признаки в диапазоне $[-1; 1]$;# Замена функции ошибки для $G$ с $\min log (1-D)$ на $\max log D$, какпотому что исходный вариант имеет маленький градиент на раннем этапе обучения и большой градиент при сходимости, а предложенный наоборот;# Сэмплирование из многомерного нормального распределения вместо равномерного; # Использовать нормализационные слои (например, возраст batch normalization или layer normalization) в $G$ и пол$D$;# Использовать метки для данных, если они имеются, то есть обучать дискриминатор еще и связаны ли между собой эти характеристикиклассифицировать образцы.

Генератор хорошо обученной сети $-$ функция <tex>g : Z \rightarrow X</tex>, где <tex>Z \subseteq \mathbb{R}^{d}</tex> $-$ скрытое пространство размерности <tex>d</tex>, для которого обычно применимо Гауссово распределение в многомерном случае. <tex>X</tex> $-$ пространство изображений, где у каждого изображения существует набор характеристик вроде возраста или пола. Пусть нам дана функция оценки <tex>f_{S} : X \rightarrow S</tex>, где <tex>S \subseteq \mathbb{R}^{m}</tex> $-$ пространство изображений размерности <tex>m</tex>. Тогда <tex>s = f_{S}(g(z))</tex>, где <tex>z \in Z</tex>, <tex>s \in S</tex> $-$ связь между точкой в скрытом подпространстве и характеристиками получившегося изображения. Для функции оценок часто исользуют The Inception score и FID (The Frechet Inception distance), где главными критериями хорошо сгенерированных образцов является разнообразие отличительных черт в образцах и их выраженность. ==Коллапс мод===

Установлено[[File:mode_collapse.png|600px|thumb|right|Рисунок 4. Проблема mode collapse в GAN сетях, что при движении между двумя точками <tex>z_1<на нижнем ряду представлен обычный GAN, на верхнем {{---}} UGAN с 10 обратными шагами (англ. unrolled steps). Источник: https:/tex> и <tex>z_2</tex> характеристики меняются постепенно, без скачковarxiv. Тогда по этому направлению в $Z$ можно построить гиперплоскостьorg/pdf/1611. Тогда сделаем предположение, при котором для любого бинарного параметра существует гиперплоскость, что все образцы с одной стороны от нее имеют одинаковое значение этого параметра02163.pdf]]

Заведем следующую функцию "расстояния"[[File:mode_collapse_UGAN.png|600px|thumb|right|Рисунок 5. Проблема mode collapse в GAN сетях на примере MNIST датасета, на нижнем ряду представлен обычный GAN, на верхнем {{---}} UGAN с 20 обратными шагами (англ. unrolled steps). Источник: https://arxiv.org/pdf/1611.02163.pdf]]

<tex>d(nВ процессе обучения генератор может прийти к состоянию, при котором он будет всегда выдавать ограниченный набор выходов. При этом пространство, z) = n^{T}z</tex>в котором распределены сгенерированные изображения, где <tex>n \in \mathbb{R}^{d}</tex>окажется существенно меньше, <tex>n</tex> $-$ вектор нормали гиперплоскостичем пространство исходных изображений.Данная функция Главная причина этого в том, что генератор обучается обманывать дискриминатор, а не подходит под определение расстояния из-за наличия отрицательных значений воспроизводить исходное распределение.Если генератор начинает каждый раз выдавать похожий выход, который является максимально правдоподобным для текущего дискриминатора, то зависимость от $z$ падает, а следовательно и градиент $G(но знак нам необходим z)$ стремиться к 0. Лучшей стратегией для определения знака параметра характеристики)дискриминатора будет улучшение детектирования этого конкретного изображения.ОжидаетсяТак на следующих итерациях наиболее вероятно, что есть близкая генератор придет к линеной зависимость оценки $f$ по данному параметру от другому изображению, хорошо обманывающему текущий дискриминатор, а дискриминатор будет учиться отличать конкретно это новое изображение. Этот процесс не будет сходиться и количество представленных мод не будет расти, поэтому приблизиться к исходному распределению не удастся. На рисунке 4 наглядно представлена проблема mode collapse и то как генератор "расстоянияпутешествует":по модам не приближаясь к целевому распределению. На рисунке 5 наглядно представлен пример mode collapse в процессе работы обычной GAN, обучаемой на датасете MNIST.

<tex>fНа текущий момент mode collape является одной из главных проблем GAN, эффективное решение которой ещё ищется.Возможные решения проблемы mode collapse:* WGAN {{---}} использование метрики Вассерштейна (g(zангл. Wasserstein Loss)) = \lambda d(nвнутри функции ошибки, позволяет дискриминатору быстрее обучаться выявлять повторяющиеся выходы, z)на которых стабилизируется генератор<ref>[https://developers.google.com/machine-learning/gan/problems Common Problems]</texref>. * UGAN (Unrolled GAN) {{---}} для генератора используется функция потерь, которая не только от того, как текущий дискриминатор оценивает выходы генератора, но и от выходов будущих версий дискриминатора.

<tex>f_{S}(g(z)) = \Lambda N^{T}z</tex>[[File:Unstable_X_Y.png|600px|thumb|right|Рисунок 6. Симуляция изменения $x$ и $y$ с помощью градиентного спуска, где изменяя $x$ мы пытается минимизировать величину $x*y$, а при изменении $y$, наоборот, стараемся ее максимизировать. Шаг градиентного спуска <tex>\Lambdaalpha = 0.1</tex> - диагональная матрица с линейными коэффициентами <tex>\lambda_{i}<. Источник: https://tex> для каждой из характеристик, <tex>N = [n_1, lilianweng. github. . , n_m]<io/lil-log/2017/08/20/tex> $from-GAN-to-$ границыWGAN.html]]

Задача обучения дискриминатора и генератора в общем смысле не является задачей поиска локального или глобального минимума функции, а является задачей поиска точки равновесия двух игроков. В случае если теории игр эта точка называется точкой равновесия Нэша (англ. Nash equilibrium) в которой оба игрока больше не получают выгоды, хотя следуют оптимальной стратегии. Рассмотрим задачу поиска этой точки на игрушечном примере, где $G$ хочет максимизировать произведение $xy$ а $D$ {{---}} минимизировать. Будем обновлять параметры $x$ и $y$ на основе градиентного спуска: <tex>\LambdaDelta x = \alpha\frac{\delta(x*y)}{ \delta(x)} </tex> <tex> \Delta y = - \alpha\frac{\delta(x*y)}{---\delta(y)}} диагональная</tex>Если изобразить на графике поведение $x$, $y$ и $xy$ (рис. 6) то проблемы запутывания нетстанет ясно, что они не сойдутся, а амплитуда их движения будет только увеличиваться.

В противном случае проделаем манипуляции оригинальной статье про GAN используется дивергенция Дженсена-Шеннона (англ. Jensen–Shannon divergence), которая в скрытом подпространстве свою очередь использует дивергенцию Кульбака-Лейблера (рисангл. 16Kullback-Leibler divergence). Проецируя, можно найти такое направление ::<texmath>n_1 D_\text{KL}(P \parallel Q) = \int_{- \infty}^\infty p(x) \log\left(n_1^\frac{p(x)}{q(x)}\right)\, dx</math>, где $P$ и $Q$ {{T---} } $k$- n_2мерные абсолютно непрерывные распределения, $p(x)n_2$ и $q(x)$ {{---}} функции плотности этих распределений, заданные на <math>X \subseteq R^k</texmath> в скрытом подспространстве.Нетрудно заметить, что вдоль этих направлений у сгенерированных изображений будем изменяться характеристика при наличии $1x$ , в независимости от характеристики которых $2q(x)=0$, весь интеграл разойдется, что плохо влияет на сходимость обучения.

При слишком большом "расстоянии" Возможные решения проблемы стабильности:*Регуляризация {{---}} Добавление шума ко входам дискриминатора и соответствующая настройка гиперпараметров дискриминатора.*PGGAN (Progressive Growing of GANs, разработана NVidia<ref>[https://research.nvidia.com/sites/default/files/pubs/2017-10_Progressive-Growing-of/karras2018iclr-paper.pdf PROGRESSIVE GROWING OF GANS FOR IMPROVEDQUALITY, STABILITY, AND VARIATION]</ref>) {{---}} в процессе работы разрешение изображений увеличивается от гиперплоскости соответствующая характеристика слишком сильно делает лицо непохожим очень малых (4 на 4 пикселя), до конечных (1024 на 1024 пикселя), что позволяет тренировать сначала выявление крупных черт а затем более мелких, что крайне положительно сказывается на изначальноестабильности.*WGAN {{---}} В качестве функции дивергенции используется метрика Вассерштейна, но это объяснимо нормальным распределением вектора шумакоторая в большинстве случаев решает проблему расходимости интеграла в функции Дженсена-Шеннона.

Генератор хорошо обученной сети $-$ функция <tex>g : Z \rightarrow X</tex>, где <tex>Z \subseteq \mathbb{R}^{d}</tex> $-$ скрытое пространство размерности <tex>d</tex>, для которого обычно применимо Гауссово распределение в многомерном случае. <tex>X</tex> $-$ пространство изображений, где у каждого изображения существует набор характеристик вроде возраста или пола. Пусть нам дана функция оценки <tex>f_{S} : X \rightarrow S</tex>, где <tex>S \subseteq \mathbb{R}^{m}</tex> $-$ пространство изображений размерности <tex>m</tex>. Тогда <tex>s =f_{S}(g(z))</tex>, где <tex>z \in Z</tex>, <tex>s \in S</tex> $-$ связь между точкой в скрытом подпространстве и характеристиками получившегося изображения. Для функции оценок часто используют Inception score<ref>[https://arxiv.org/abs/1801.01973 Shane Barratt, Rishi Sharma {{---}} A Note on the Inception Score]</ref> и FID (Frechet Inception distance<ref> [https://en.wikipedia.org/wiki/Fr%C3%A9chet_inception_distance#:~:text=Улучшение обучения The%20Fr%C3%A9chet%20inception%20distance%20(FID,generative%20adversarial%20network%20(GAN==). Frechet Inception distance on Wikipedia]</ref>), где главными критериями хорошо сгенерированных образцов является разнообразие отличительных черт в образцах и их выраженность.

Большинство GAN'ов подвержено следующим проблемам:* Несходимость (non-convergence): параметры модели дестабилизируются Установлено, что при движении между двумя точками <tex>z_1</tex> и не сходятся;* Схлопывание мод распределения (mode collapse): генератор коллапсирует<tex>z_2</tex> характеристики меняются постепенно, тбез скачков. Тогда по этому направлению в $Z$ можно построить гиперплоскость.е выдает ограниченное количество разных образцов;* Исчезающий градиент (diminished gradient): дискриминатор становится слишком "сильным"Тогда сделаем предположение, а градиент генератора исчезает и обучение не происходит;* Высокая чувствительность к гиперпараметрампри котором для любого бинарного параметра существует гиперплоскость, что все образцы с одной стороны от нее имеют одинаковое значение этого параметра.

Универсального подхода к их решению нетЗаведем следующую функцию "расстояния": <tex>d(n, z) = n^{T}z</tex>, но существуют практические советыгде <reftex> [https:n \in \mathbb{R}^{d}<//github.com/soumith/ganhacks How to Train a GAN? Tips and tricks to make GANs work]tex>, <tex>n</reftex>, которые могут помочь. Основными из них являются:# Нормализация данных. Все признаки в диапазоне $[-1; 1]$;вектор нормали гиперплоскости.# Замена функции ошибки Данная функция не подходит под определение расстояния из-за наличия отрицательных значений (но знак нам необходим для $G$ с $\min log (1-Dопределения знака параметра характеристики)$ на $\max log D$.Ожидается, потому что исходный вариант имеет маленький градиент на раннем этапе обучения и большой градиент при сходимости, а предложенный наоборот;# Сэмплирование из многомерного нормального распределения вместо равномерного; # Использовать нормализационные слои (например, batch normalization или layer normalization) в есть близкая к линеной зависимость оценки $Gf$ и $D$;# Использовать метки для данных, если они имеются, т.е обучать дискриминатор еще и классифицировать образцы.по данному параметру от "расстояния":

<tex>f(g(z)) ===Mode Collapse===\lambda d(n, z)</tex>.

[[File:mode_collapseSubspaceManipulation.png|700px200px|thumb|right|Рисунок 47. Проблема mode collapse в GAN сетях, на нижнем ряду представлен обычный GAN, на верхнем - UGAN с 10 обратными шагами(англ. unrolled steps)Манипулирование подпространством. Источник: <tex>\href{https://arxiv.org/pdf/16111907.0216310786.pdf}{\text{[x]}}</tex>]]В таком случае выраженность характеристики зависит от "расстояния" до этой гиперплоскости. Аналогично происходит и в случае нескольких характеристик:

В процессе обучения генератор может прийти к состоянию<tex>f_{S}(g(z)) = \Lambda N^{T}z</tex>, при котором он будет всегда выдавать ограниченный набор выходов. При этом пространствогде <tex>\Lambda</tex> {{---}} диагональная матрица с линейными коэффициентами <tex>\lambda_{i}</tex> для каждой из характеристик, в котором распределены сгенерированные изображения<tex>N = [n_1, окажется существенно меньше чем пространство исходных изображений.Главная причина этого в том, что генератор обучается обманывать дискриминатор, а не воспроизводить исходное распределение.Если генератор начинает каждый раз выдавать похожий выход, который является максимально правдоподобным для текущего дискриминатора, то зависмость от $z$ падает. , а следовательно и градиент n_m]</tex> $G(z)-$ стремиться к 0. Лучшей стратегией вектора нормалей для дискриминатора будет улучшение детектирования этого конкретного изображения.Так на следующих итерациях наиболее вероятно, что генератор придет к другому изображению, хорошо обманывающему текущий дискриминаторгиперплоскостей, а дискриминатор будет учиться отличать конкретно это новое изображениеразделяющих значения признаков <tex>1. Этот процесс не будет сходиться и количество представленных мод не будет расти поэтому приблизиться к исходному распределению не удастся. На рисунке 4 наглядно представлена проблема mode collapse и то как генератор "путешествует" по модам не приближаясь к targetm</tex>.

На текущий момент Mode collape является одной из главных проблем GAN, эффективное решение которой ещё ищется.Возможные решения проблемы mode collapse:* WGAN В случае если <tex>\Lambda</tex> {{-- использование метрика Вассерштейна (англ. Wasserstein Loss) внутри функции ошибки.* UGAN (Unrolled GAN) - для генератора используется функция потерь}} диагональная, которая не только от того, как текущий дискриминатор оценивает выходы генератора, но и от выходов будущих версий дискриминаторато проблемы запутывания нет.

[[File:Unstable_X_Y.png|650px|thumb|right|Рисунок 5. Симуляция поведения x и y, где x изменяется чтобы лучше минимизировать x*yПри слишком большом "расстоянии" от гиперплоскости соответствующая характеристика слишком сильно делает лицо непохожим на изначальное, а y изменяется чтобы лучше минимизировать чтобы минимизировать -x*y. Шаг градиентного спуска alpha = 0.1. Источник: https://lilianweng.github.io/lil-log/2017/08/20/from-GAN-to-WGANно это объяснимо нормальным распределением вектора шума.html]]

Задача обучения двух состязательных сетей не является задачей поиска локального или глобального минимума функции, а является задачей поиска точки равновесия двух игроковТакже в скрытом пространстве имеют место арифмитические операции. В теории игр это точка называется точкой равновесия Нэша (англ. Nash equilibrium) в которой оба игрока больше не получают выгодыТо есть можно складывать и вычитать вектора из этого пространства, хотя следуют оптимальной стратегии. Рассмотрим задачу поиска этой точки на игрушечном примеречтобы как получать промежуточные результаты, где $G$ хочет максимизировать $xy$ а $D$ - минимизировать. Будем обновлять параметры $x$ так и $y$ на основе градиентного спуска: <tex> \Delta x = \alpha\frac{\delta(x*y)}{ \delta(x)} </tex><tex> \Delta y = убирать или добавлять какую- \alpha\frac{\delta(x*y)}{ \delta(y)} </tex>Если изобразить на графике поведение $x$,$y$ и $xy$ (рис. №5) то станет ясно, что они не сойдутся, а амплитуда их движения только увеличиваетсялибо характеристику.

В оригинальной статье про GAN используется дивергенция Дженсена-Шеннона Для борьбы с проблемой запутывания существуют и другие подходы: один из них представляет из себя разложение изображения на передний и задний слои (англ. Jensen–Shannon divergenceс возможными промежуточными слоями), которая в свою очередь использует дивергенцию Кльбака-Лейблера(англ. Kullback–Leibler divergence)::<mathref>D_\text[https://openaccess.thecvf.com/content_CVPR_2020/papers/Alharbi_Disentangled_Image_Generation_Through_Structured_Noise_Injection_CVPR_2020_paper.pdf Yazeed Alharbi, Peter Wonka {KL}(P \parallel Q) = \int_{-\infty--}^\infty p(x) \log\left(\frac{p(x)}{q(x)}\right)\Disentangled Image Generation Through Structured Noise Injection, dx3.3]</mathref>Нетрудно заметить, что при наличие $x$ в которых $q(x)=0$ интеграл разойдется, что плохо влияет на сходимость обучения.

Возможные решения проблемы стабильности:*Регуляризация Следующий метод основан на том факте, что существуют как локальные черты, так и глобальные. К первым можно отнести форму отдельной части лица, а ко вторым $- Добавление шума ко входам дискриминатора $ возраст и соответствующая настройка гиперпараметров дискриминаторапол.*PGGAN (Progressive Growing of GANs - разработана NVidia) - в процессе работы разрешение изображений увеличивается от Иногда изменение локальной черты может очень малых (4 сильно влиять на 4 пикселя)глобальную. Этого хочется избежать, до конечных (1024 на 1024 пикселя)для этого некоторые размерности вектора шума применяются к каждой остальной размерности<ref>[https://openaccess.thecvf.com/content_CVPR_2020/papers/Alharbi_Disentangled_Image_Generation_Through_Structured_Noise_Injection_CVPR_2020_paper.pdf Yazeed Alharbi, что позволяет тренировать сначала выявление крупных черт а затем более мелкихPeter Wonka {{---}} Disentangled Image Generation Through Structured Noise Injection, что крайне положительно сказывается на стабильности3.*WGAN - В качестве функции дивергенции используется метрика Вассерштейна, которая в большинстве случаев решает проблему расходимости интеграла в функции Дженсена-Шеннона5]</ref>.

[[File:прогресс_ганов.jpg|450px|thumb|right|Рисунок 48. Прогресс в генерации фотографий с помощью GAN. Источник: https://twitter.com/goodfellow_ian]]

Чаще всего GAN'ы используются для генерации реалистичных фотографий (рис. 48). Серьезные улучшения в этом направлении были сделаны следующими работами:

[[File:CGAN_architecture.png|450px|thumb|Рисунок 69. Архитектура CGAN. Источник: https://arxiv.org/pdf/1411.1784.pdf]]

'''Условные порождающие состязательные сети''' (англ. ''Conditional Generative Adversarial Nets, CGAN'') $-$ это модифицированная версия алгоритма GAN, которая может быть сконструирована при помощи передачи дополнительных данных '''y''', являющихся условием для генератора и дискриминатора. '''y''' может быть любой дополнительной информацией, например, меткой класса, изображением или данными из других моделей, что может позволить контролировать процесс генерации данных. Например, можно подавать параметр '''y''', как условие на класс для генерации чисел, похожих на MNIST. Создание таких картинок, в случае передачи картинки в качетсве '''y''' является [[:Задача трансляции изображений|задачей трансляции изображений]]. Пример работы ''CGAN'' на датасете ''MNIST'' с метками классов представленных в виде [[:Векторное представление слов|''one-hot'']] векторов <ref>[https://arxiv.org/pdf/1411.1784.pdf CGAN]</ref> (рис. 59).

[[File:CGAN_generated.png|450px|thumb|center|Рисунок 510. Цифры, сгенерированные с помощью CGAN. Источник: https://arxiv.org/pdf/1411.1784.pdf]]

[[File:CGAN_generated_tags.PNG|450px|thumb|right|Рисунок 811. Описание картинки. Источник: https://arxiv.org/pdf/1411.1784.pdf]]

Как уже было упомянуто на вход генератора и дискримантора из GAN подается дополнительная информация '''y''', например в случае с многослойными перецептронами условие может быть представлено дополнительным входным слоем. (рис. 69)

При создании изображения в генератор поступает скомбинированная информация двух параметров: '''y''' и вектора шума. В случае ''MNIST'' это может быть, например, просто метка класса (от 0 до 9). На выходе из генератора поступает изображение, полученное с помощью транспонированной свертки (происходит деконволюция). Затем полученное изображение комбинируется с '''y''' и поступает в дискриминатор, который в свою очередь применяет свертку, чтобы получить полносвязный слой. Наконец, анализируя полученную информацию (полносвязный слой) дискриминатор принимает решение, является ли изображение сгенерированным. (рис. 712)[[File:CGAN_gen_disc_v2.png|450px|thumb|center|Рисунок 712. Генерация при использовании CGAN]]

Также, используя условные порождающие состязательные сети, можно научить такую сеть генерировать текст по картинке и наоборот. В качестве параметра '''y''' в данном случае передается изображение, которое будет описано (рис. 811).

[[File:DCGAN_generator.png|450px|thumb|right|Рисунок 913. Архитектура генератора в DCGAN. Источник: https://arxiv.org/pdf/1511.06434.pdf]]

'''DCGAN''' $-$ модификация алгоритма ''GAN'', в основе которых лежат сверточные нейронные сети (''CNN''). Задача поиска удобного представления признаков на больших объемах не размеченных данных является одной из наибольнее активных сфер исследований, в частности представление изображений и видио. Одним из удобных способов поиска представлений может быть '''DCGAN''' (рис. 913). Использование сверточных нейронных сетей напрямую не давало хороших результатов, поэтому было внесены ограничения на слои сверток. Эти ограничения и лежат в основе '''DCGAN''':

[[File:StackGANexample.jpg|400px|thumb|right|Рисунок 1114. Пример работы порождающей состязателной сети для генерации фото-реалистичных изображений StackGAN. Источник: https://arxiv.org/pdf/1612.03242.pdf]]

Одной из ключевых особенностей StackGAN является Conditioning Augmentation, так как оно позволило расширить количество примеров тренировочного сета, путем небольших случайных изменений в исходных изображениях, что увеличивало многообразие данных. Как показано на картинке, текстовое описание <tex>t</tex> кодировщиком переводится в векторное представление <tex>\varphi_{t}</tex> (рис. 1015). Раннее векторное представление нелинейно трансформировалось, чтобы получить скрытые условные переменные, которые подавались на вход генератору, однако простарнство значений скрытых переменных имеет большую размерность, что приводило к разрывам в многообразии данных, что не выгодно для генератора. Чтобы избавиться от этого как раз нужно Conditioning Augmentation, которое в отличии от предоставления фиксированных значений переменных выбирает их из нормального распределения <tex>\mathcal{N}(\mu(\varphi_{t}), \Sigma(\varphi_{t}))</tex>, где среднее значение <tex>\mu(\varphi_{t})</tex> и ковариация <tex>\Sigma(\varphi_{t}))</tex> это функции от входного вектора <tex>\varphi_{t}</tex>. В добавок к уже упомянотому, чтобы сделать многообразие гладким и не переобучиться, нужно добавить регуляризацию, <tex>D_{KL}(\mathcal{N}(\mu(\varphi_{t}), \Sigma(\varphi_{t})) || \mathcal{N}(0, I))</tex> (KL divergence)<ref> [https://ru.wikipedia.org/wiki/Расстояние_Кульбака_—_Лейблера Kullback-Leibler divergence]</ref>.[[File:StackGANProcess.jpg|1000px|thumb|center|Рисунок 1015. Процесс обучения StackGAN. Источник: https://arxiv.org/pdf/1612.03242.pdf]]

Где <tex>s_0 = G_0(z,\hat{c_0})</tex> результат работы генератора Stage-I GAN и скрытый параметр <tex>\hat{c}</tex> подаются на вход дискриминатору и генератору Stage-II GAN, при этом на вход не подается случайное значение, как на первой стадии, поскольку хватает подачи случайного <tex>z</tex> на вход Stage-I GAN. При этом Stage-I GAN и Stage-II GAN имеют разные полно-связные слои, чтобы отличаться по среднему значению и стандартному отклонению, таким образом на разных этапах фокусируюемся на разных деталях исходного текста (рис. 1114).

[[File:LAPGANtest.jpg|500px|thumb|right|Рисунок 1216. Процедура семплинга для модели LAPGAN. Источник: https://arxiv.org/pdf/1506.05751.pdf]]

[[File:LAPGANtrain.jpg|500px|thumb|right|Рисунок 1317. Процедура обучения модели LAPGAN. Источник: https://arxiv.org/pdf/1506.05751.pdf]]

Процедура семплинга для нашей модели '''LAPGAN''' (рис. 1216). Начинаем с шума <tex>z_3</tex> и используем генеративную модель <tex>G_3</tex> для создания <tex>\tilde{I_3}</tex>. Потом расширяем изображение до <tex>l_2</tex> для следующиего уровня генерации <tex>G_2</tex>. Вместе с еще одним шумом <tex>z_2</tex> получаем изображение различия <tex>\tilde{I_2}</tex>. Продолжаем процесс, пока не получим <tex>I_0</tex>.

Процедура обучения '''LAPGAN''' (рис. 1317). Начинаем с изображения <tex>I</tex> размера <tex>64 \times 64</tex> из тренировчного набора. Берем <tex>I_0 = I </tex> и сжимаем его(красная стрелка) чтобы получить <tex>I_1</tex>; затем расширяем его(зеленая стрелка), чтобы получить <tex>l_0</tex> низко-частотное изображение <tex>I_0</tex>; с равной вероятностью используем его для создния либо реального, либо сгенерированного примера для дискриминатора <tex>D_0</tex>. В случае реального изображения(синяя стрелка) считаем цветовой контраст <tex>h_0 = I_0 - l_0</tex>, которая подается на вход дискриминатору <tex>D_0</tex>, для опредления реальное изображение или нет. В случае сгенерированного(розовая стрелка), генеративная сеть <tex>G_0</tex> получает на вход шум <tex>z_0</tex> и <tex>l_0</tex>. Оно генерирует цветовой контраст <tex>\tilde{h_0} = G_0(z_0,l_0)</tex>, который подается на вход <tex>D_0</tex>. В обоих случаях дискриминатор также получает <tex>l_0</tex> (оранжевая стрелка). Оптимизируя минмакс игру условной порождающей сети <tex>G_0</tex> учится генерировать реалистичную высоко-частотную структуру <tex>\tilde{h_0}</tex> с помощью низко-частотного представления <tex>l_0</tex>. Такая процедура проходит на всех слоях, кроме последнего, где можно уже использовать обычный GAN.

[[File:ControlGANConcept.png|350px|thumb|right|Рисунок 1418. Концепт модели ControlGAN. Источник: <tex>\href{https://arxiv.org/pdf/1708.00598.pdf}{\text{[x]}}</tex>]]

Контролируемые порождающие состязательные сети (англ. Controllable Generative Adversarial Nets, '''ControlGAN''') $-$ модифицированная версия алгоритма GAN, состоящая из трех нейронных сетей: генератор, дискриминатор, классификатор. Концепт модели ControlGAN (рис. 1418). Как и в обычной версии алгоритма, генератор пытается обмануть дискриминатор, и одновременно с этим пытается быть классифицированным как нужный класс в классификаторе.

Более того, аугментация данных может помешать некоторым сетям, например, Auxiliary Classifier GAN (ACGAN) обучаться, хотя сам способ может улучшить качество классификации. К тому же в случае контролируемой генерации нет необходимости размечать тренировочные данные, выбираются желаемые характеристики объектов для генерации, а не условная информация (например, метка объекта). [[File:ControlGANPrinciple.png|200px|thumb|right|Рисунок 1519.

Иллюстрация принципа работы сети (рис. 1519). Зеленые линии $-$ результат работы классификатора; оранжевые $-$ дискриминатора. Серые фигуры $-$ образцы из разных классов. Результат генератора обозначается голубыми участками, которыми он показывает распределение образцов, как и пытается быть классифицированным верно.

ControlGAN управляет тем, продолжать ли обучение на данных или обучаться генерировать образцы c помощью параметра $E$, который сохраняет значение функции потерь классификации. <tex>\gamma_tE</tex> $-$ параметр обучения, чтобы сохранить отношение между ошибками классификации сгенерированных образцов и изначальных данных. Для тренировки генератора используем оценочное значение <tex>\hat{E}</tex>, изменяющегося со временем полученное, использующее классификатор и генератор из сети. При значении <tex>t\hat{E}</tex>меньше $1$, генератор обучается на входных данных, иначе обучается генерировать образцы. С помощью этого параметра ControlGAN управляет, чему из вышеперечисленного обучаться. Сам параметр поддерживает постоянной отношение между ошибками.

<tex>\gamma_t = \gamma_{t - 1} + r \{L_C(l, G(z,l;\delta_G)) - \hat{E } \cdot L_C(l, x)\}</tex>,