Изменения

'''Порождающие состязательные сети''' (англ. ''Generative Adversarial Nets, GAN'') ${{-$ это --}} алгоритм машинного обучения, входящий в семейство [[:Порождающие модели|порождающих моделей]]^{[на 28.01.19 не создан]} и построенный на комбинации из двух нейронных сетей: генеративная модель <tex>G</tex>, одна которая строит приближение распределения данных, и дискриминативная модель <tex>D</tex>, оценивающая вероятность, что образец пришел из которых генерирует образцытренировочных данных, другая пытается отличить настоящие образцы от а не сгенерированныхмоделью <tex>G</tex>. Обучение для модели <tex>G</tex> заключается в максимизации вероятности ошибки дискрминатора <tex>D</tex>. Впервые такие сети были представлены Иэном Гудфеллоу в 2014 году.

Имеется множество образцов Как было указано ранее в описании метода, мы хотим обучить две модели: генеративную и дискриминативную. Поскольку, удобнее всего использовать многослойные перцептроны для обучения состязательной модели, будем использовать именно их для детального описания работы модели.Чтобы вывести вероятностное распределение генератора <tex>p_{g}</tex> над набором данных <tex>X</tex> из распределения , определим априорную вероятность шума <tex>p_{dataz}(z)</tex> и представим генератор, как отображение <tex>G(z, \gamma_{g})</tex>, где <tex>G</tex>дифференцируемая функция, заданного на представленная многослойным перцептроном с параметром <tex> \mathbb R^n gamma_{g}</tex>. Аналогичным образом представим второй многослойный перцептрон <tex>D(z, а также некоторое пространство латентных факторов \gamma_{d})</tex>, который на выход подает одно скалярное значение - вероятность того, что <tex>Zx</tex> пришло из распределения тренировочных данных, а не <tex>p_{zg}</tex>. Во время тренировки <tex>D</tex> мы стремимся максимизировать вероятность правильной идентификации объектов из тренировочной и сгенерированной выборок. И в то же время тренируем <tex>G</tex> так, напримерчтобы минимизировать <tex>log(1 - D(G(z)))</tex>:Другими словами, случайные вектора из равномерного распределения <tex> D</tex> и <tex>G</tex> играют в "минимакс игру": <center><tex>\min\limits_{G}\max\mathbb U^tlimits_{D} V(0D,G) = \mathop{E}\limits_{x \sim p_{data}(x)}[logD(x)] + \mathop{E}\limits_{z \sim p_{z}(z)}[log(1-D(z)) ]</tex>.</center>

Рассмотрим две нейронные сети==Интуитивный процесс тренировки==[[File:GANIntuitive.jpg|500px|thumb|right|Иллюстрация процесса тренировки порождающих состязательных сетей GAN. Источник: первая $-$ ''генератор'' <tex> Ghttps: Z \rightarrow \mathbb R^n </tex> с параметрами /arxiv.org/pdf/1701.07875.pdf]]Генеративные состязательные сети обучаются путем одновременного обновления дискриминирующего распределения (<tex>\thetaD</tex>синяя пунктирная линия), цель которой сгенерировать похожий образец так чтобы дискриминатор мог различать объекты из <tex>p_{data}</tex>, распределения тренировочного сета(черная пунктирная в точку линия) и вторая $-$ ''дискриминатор'' из распределения генератора (<tex>D: \mathbb R^n \rightarrow \mathbb [0,1] </tex> с параметрами зеленая сплошная линия). Нижняя горизонтальная линия представляет собой область, из которой составлена выборка <tex>\gammaz</tex>, цель которой выдавать максимальную оценку на образцах из в нашем случае равномерно. Горизонтальная линия над ней является частью области <tex>Xx</tex> и минимальную . Стрелками на сгенерированных образцах из картинке показано, как отображение <tex>x = G(z)</tex>. Распределение, порождаемое генератором будем обозначать накладывает неравномерное распределение <tex>p_{geng}</tex>на тренировочное. Так же заметим, что в текущем изложении не принципиальны архитектуры нейронных сетей, поэтому можно считать, что параметры <tex>\thetaG</tex> сжимается в областях с высокой плотностью и <tex>\gamma</tex> являются просто параметрами многослойных персептроноврасширяется в областях с низкой. В качестве примера можно рассматривать генерацию реалистичных фотографий: в этом случае, входом для генератора может быть случайный многомерный шум, а выходом генератора Рассмотрим описанный на картинках процесс. (и входом для дискриминатораa) RGB-изображение; выходом же для дискриминатора будет вероятность, что фотография настоящая, т.е число от 0 до 1.  Наша задача выучить распределение Близкая сходимость состязающейся пары: <tex>p_{geng}</tex> так, чтобы оно как можно лучше описывало похоже на распределение <tex>p_{data}и D</tex>частично-точный классификатор. Зададим функцию ошибки для получившейся модели. Со стороны дискриминатора мы хотим распознавать образцы из (b) Во внутреннем цикле алгоритма <tex>XD</tex> как правильные, т.е в сторону единицы, и образцы обучается отличать объекты из <tex>G</tex> как неправильныетренировочных данных, т.е в сторону нуля, таким образом нужно максимизировать следующую величину: <center> сходясь к <tex>\mathopfrac{E}\limits_{x \sim p_{data}}[logD(x)] + \mathop{E}\limits_{x \sim p_{gen}data}[log(1-D(x))]</tex>, где <tex>\mathop{E}\limits_{x \sim + p_{geng}}[log(1-D(x))] = \mathop{E}\limits_{z \sim p_{z}}[log(1-D(G(z))]</tex> </center> Со стороны же генератора требуется научиться "обманывать" дискриминатор, т.е минимизировать по (c) После обновления <tex>p_{gen}G</tex> второе слагаемое предыдущего выражения. Другими словами, градиент <tex>GD</tex> и привел <tex>DG(z)</tex> играют к передвижению в так называемую ''минимаксную игру''область, решая следующую задачу оптимизации: с большей вероятностью быть классифицированным как данные. (d) После нескольких шагов обучения <centertex> G</tex> \min\limits_{G}\max\limits_{D} \mathop{E}\limits_{x \sim p_{data}}[logD(x)] + \mathop{E}\limits_{z \sim p_{z}}[log(1-D(G(z))] и </tex> D</centertex>  Теоретическое обоснование тогопридут в состояние, в котором не смогу улучшиться, что такой метод заставляет так как будет выполняться условие <tex>p_{geng}</tex> сходится к <tex>= p_{data}</tex> описано в исходной статье. и диксриминатор не сможет различать два распределения и его выход всегда будет <reftex> [https://arxiv.org/pdf/1406.2661.pdf Ian J. Goodfellow D(x) = \frac{1}{---}2} Generative Adversarial Nets]</reftex>.

В процессе обучения требуется делать два шага оптимизации поочередно: сначала обновлять веса генератора <tex>\thetagamma_{g}</tex> при фиксированном <tex>\gammagamma_{d}</tex>, а затем веса дискриминатора <tex>\gammagamma_{d}</tex> при фиксированном <tex>\thetagamma_{g}</tex>. На практике дискриминатор обновляется <tex>k</tex> раз вместо одного; , поскольку, полностью оптимизировать дискриминатор вычислительно не выгодно и на конечных сетах он может переобучиться. Таким образом <tex>k</tex> является гиперпараметром.

$z$ = getBatchFromNoisePrior($p_z$) <font color=green>//Получаем мини-батч $\{z_1, . . . , z_m\}$ из распределения $p_z$ </font> $xz$ = getBatchFromDataGeneratingDistibutiongetBatchFromNoisePrior($p_{data}p_z$) <font color=green>//Получаем мини-батч $\{x_1, . . . , x_m\}$ из распределения $p_{data}$ </font> $x$ = getBatchFromDataGeneratingDistribution($p_{data}$) <font color=green>//Обновляем дискриминатор в сторону возрастания его градиента</font> <tex>d_w \leftarrow \mathop{\nabla}_{\gammagamma_{d}} { \frac{1}{m} \sum_{t = 1}^m \limits} [logD(x_t)] + [log(1-D(G(z_t))] </tex> <font color=green>//Обновляем дискриминатор в сторону возрастания его градиента </font>

$z$ = getBatchFromNoisePrior($p_z$) <font color=green>//Получаем мини-батч $\{z_1, . . . , z_m\}$ из распределения $p_z$ </font> $z$ = getBatchFromNoisePrior($p_z$) <font color=green>//Обновляем генератор в сторону убывания его градиента </font> <tex>g_w \leftarrow \mathop{\nabla}_{\thetagamma_{g}} { \frac{1}{m} \sum_{t = 1}^m \limits} [log(1-D(G(z_t))] </tex> <font color=green>//Обновляем генератор в сторону убывания его градиента </font>

Обновления на основе градиента могут быть сделаны любым стандартным способомНа практике не всегда удобно использовать уравнение описанной выше. В начале обучения, напримеркогда <tex>G</tex> плохо настроен дискриминатор <tex>D</tex> может не учитывать объекты, с высокой уверенностью в оригинальной статье использовался [[:Cтохастический градиентный спуск|стохастический градиентный спуск]]классификации, так как они сильно отличаются от тренировчного сета, в таком случае <tex>log(1 - D(G(z)))<sup/tex>[на 28стагнирует.01.19 не создан]Чтобы избежать этого, можно вместо минимизации <tex>log(1 - D(G(z)))</tex> максимизировать <tex>log D(G(z))</suptex> с импульсом.

* Несходимость (non-convergence): параметры модели дестабилизируются и не сходятся,;* Схлопывание мод распределения (mode collapse): генератор коллапсирует, т.е выдает ограниченное количество разных образцов,;* Исчезающий градиент (diminished gradient): дискриминатор становится слишком "сильным", а градиент генератора исчезает и обучение не происходит,;

# Нормализация данных. Все признаки в диапазоне $[-1; 1]$.;# Замена функции ошибки для $G$ с $\min log (1-D)$ на $\max log D$, потому что исходный вариант имеет маленький градиент на раннем этапе обучения и большой градиент при сходимости, а предложенный наоборот.;# Сэмплирование из многомерного нормального распределения вместо равномерного. ; # Использовать нормализационные слои (например, batch normalization или layer normalization) в $G$ и $D$.;

* Auxiliary GAN<ref> [https://arxiv.org/pdf/1610.09585.pdf Augustus Odena {{---}} Conditional Image Synthesis with Auxiliary Classifier GANs]</ref>: вариант GAN-архитектуры, использующий метки данных.;* SN-GAN<ref> [https://arxiv.org/pdf/1802.05957.pdf Takeru Miyato {{---}} SPECTRAL NORMALIZATION FOR GENERATIVE ADVERSARIAL NETWORKS]</ref>: GAN с новым подходом решения проблемы нестабильного обучения через спектральную нормализацию.;* SAGAN<ref> [https://arxiv.org/pdf/1805.08318.pdf Han Zhang {{---}} Self-Attention Generative Adversarial Networks]</ref>: GAN, основанный на механизме внимания.;* BigGAN<ref> [https://arxiv.org/pdf/1809.11096.pdf Andrew Brock {{---}} LARGE SCALE GAN TRAINING FOR HIGH FIDELITY NATURAL IMAGE SYNTHESIS]</ref>: GAN с ортогональной регуляризацией, позволившей разрешить проблему коллапсирования при долгом обучении.;

* CycleGAN<ref> [https://junyanz.github.io/CycleGAN/ Jun-Yan Zhu & Taesung Park {{---}} Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks]</ref>: меняет изображения c одного домена на другой, например, лошадей на зебр,;* SRGAN<ref> [https://arxiv.org/abs/1609.04802 Christian Ledig {{---}} Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network]</ref>: создает изображения с высоким разрешением из более низкого разрешения,;* Pix2Pix<ref> [https://phillipi.github.io/pix2pix/ Phillip Isola {{---}} Image-to-Image Translation with Conditional Adversarial Nets]</ref>: создает изображения по семантической окраске,;* StackGAN<ref> [https://arxiv.org/abs/1612.03242 Han Zhang {{---}} StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks]</ref>: создает изображения по заданному тексту,;

'''Условные порождающие состязательные сети''' (англ. ''Conditional Generative Adversarial Nets, CGAN'') $-$ это модифицированная версия алгоритма GAN, которая позволяет генерировать объекты с дополнительными условиями может быть сконструирована при помощи подачи данных '''y''', являющихся условием для генератора и дискриминатора. '''y''' может быть любой дополнительной информацией, например, меткой класса или данными из других моделей, что может позволить контролировать процесс генерации данных. Например, можно подавать параметр '''y''', как условие на класс для генерации чисел, похожих на MNIST. Добавление данных условий  Как уже было упомянуто на вход генератори и дискримантора из GAN подается дополнительная информация '''y''', например в существующую архитектуру осуществляется случае с помощью расширения вектором многослойными перецептронами условие может быть представлено дополнительным входным слоем.В генераторе априорная вероятность шума <tex>p_{z}(z)</tex> и условие <tex>y</tex> комбинируются в объединённое скрытое представление, а состязательная тренирующая модель предоставляет достаточно свободы в том как это представление составляется.<ref>[https://arxiv.org/pdf/1207.4404.pdf Yoshua Bengio, Gre ́goire Mesnil, Yann Dauphin and Salah Rifai {{---}} Better Mixing via Deep Representations ]</ref>В дискриминаторе '''x''' и '''y''' входных данных генератора и дискриминаторапредставлены как входные параметры.

[[File:CGAN_generated.png|450px|thumb|right|Цифры, сгенерированные с помощью CGAN. Источник: https://arxiv.org/pdf/1411.1784.pdf]]

[[File:DCGAN_generator.png|450px|thumb|right|Архитектура генератора в DCGAN. Источник: https://arxiv.org/pdf/1511.06434.pdf]]

'''DCGAN''' $-$ модификация алгоритма ''GAN'', основными архитектурными изменениями которой являютсяв основе которых лежат сверточные нейронные сети (''CNN''). Задача поиска удобного представления признаков на больших объемах не размеченных данных является одной из наибольнее активных сфер исследований, в частности представление изображений и видио. Одним из удобных способов поиска представлений может быть '''DCGAN'''. Использование сверточных нейронных сетей напрямую не давало хороших результатов, поэтому было внесены ограничения на слои сверток. Эти ограничения и лежат в основе '''DCGAN''': * Замена всех пулинговых слоев на страйдинговые свертки (''strided convolutions'') в дискриминаторе и частично-страйдинговые свертки (''fractional-strided''''-convolutions'') в генераторе., что позволяет сетям находить подходящие понижения и повышения размерностей;* Использование батчинговой нормализации для генератора и дискриминатора, то есть нормализация входа так, чтобы среднее значения было равно нулю и дисперсия была равна единице. Не стоит использовать батч-нормализация для выходного слоя генератора и входного дискриминатор.* Удаление всех полносвязных скрытых уровней для более глубоких архитектур.;* Использование ''ReLU'' в качестве функции активации в генераторе для всех слоев, кроме последнего, где используется ''tanh''.;

Помимо задачи генерации объектов, данный алгоритм хорошо показывает себя в качестве ''feature extractor'''аизвлечении признаков.Данный алгоритм был натренирован на датасете наборе данных ''Imagenet-1k''<ref name = "datasets">[http://neerc.ifmo.ru/wiki/index.php?title=Известные_наборы_данных Известные наборы данных]</ref>, после чего были использованы значения со сверточных слоев дискриминатора, подвергнутые ''max-pooling'''у, чтобы образовать матрицы <tex> 4 \times 4 </tex> и получить общий вектор признаков на их основе. ''L2-SVM'' с данным ''feature extractor'''ом , c полученным представлением, на датасете наборе данных ''CIFAR-10'' <ref name="datasets" /> превосходит по точности решения, основанные на алгоритме''K-Means''. Более подробно Подробнее об этом вы можете прочитать в статье. <ref> [https://arxiv.org/pdf/1511.06434.pdf Alec Radford, Luke Metz, Soumith Chintala {{---}} Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks]</ref>  ==StackGAN (Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks)==

*[[:Вариационный автокодировщик|Variational autoencoder (VAE)]]*[[:Автокодировщик|Variational autoencoder (VAE)Автокодировщик]]