Изменения

{{В разработке}}Автоматический синтез Автоматическое создание реалистичных высококачественных изображений из текстовых описаний был было бы интересен интересно и довольно полезенполезно, так как имеет множество практических применений., но современные системы искусственного интеллекта все еще далеки от этой цели, так как это является довольно сложной задачей в области компьютерного зрения. Однако в последние годы были разработаны универсальные и мощные рекуррентные архитектуры нейронных сетей для изучения различных представлений текстовых признаков. Между тем, глубокие сверточные '''генеративные состязательные сети''' (англ. [[Generative Adversarial Nets (GAN)|генеративные состязательные сети]] (англ. ''Generative Adversarial Nets, GANs]]'') начали генерировать весьма убедительные изображения определенных категорий, таких как лица, обложки альбомов и интерьеры комнат. Образцы, генерируемые существующими подходами "текст-изображение", могут приблизительно отражать смысл данных описаний, но они не содержат необходимых деталей и ярких частей объекта. Мы рассмотрим глубокую архитектуру В данной статье рассмотрены формулировка и формулировку глубокая архитектура GAN, объединим а также объединены достижения в моделировании текста и генерации изображений, переводя визуальные концепции из символов в пикселипо тексту.== GAN ===== Глубокая сверточная генеративная состязательная сеть =Обзор генеративных моделей ==Сообщество глубокого обучения быстро совершенствует генеративные модели. Среди них можно выделить три перспективных типа: [[PixelRNN и PixelCNN|авторегрессионные модели]] (англ. '''Глубокая сверточная генеративная состязательная сеть'Autoregressive model, AR-model'' ), [[Вариационный автокодировщик|вариационные автокодировщики]] (англ. ''Deep Convolutional Variational Autoencoder, VAE'') и [[Generative Adversarial NetworkNets (GAN)|генеративные состязательные сети]].На данный момент самые качественные изображения генерируют сети GAN (фотореалистичные и разнообразные, DCGANс убедительными деталями в высоком разрешении). Поэтому в данной статье мы сосредоточимся на моделях GAN. {| class="wikitable"|+ '''Сравнение моделей'''|-! rowspan=2 | Модель !! colspan=2|Inception Score <ref name="inception"/>!! rowspan=2 | FID <ref name="FID"/> !! rowspan=2 | Разрешение генерируемой картинки !! rowspan=2 | Реализация !!rowspan=2 | Модификация (отличие от GAN)!!rowspan=2 | Пример сгенерированной картинки|-| style = "text-align: center" | [[Известные наборы данных#COCO|COCO]] | style = "text-align: center" | [[Известные наборы данных#Caltech-UCSD Birds 200 (CUB) |Caltech-UCSD]]|-| style = "text-align: center" | [[#Attribute2Image|Attribute2Image, 2015]] | style = "text-align: center" | <tex>14.30 \pm 0.10</tex>| style = "text-align: center" | {{---}}| style = "text-align: center" | {{---}} обусловлена текстовыми признаками| style = "text-align: center" | <tex>64 \times 64</tex>| style = "text-align: center" | [https://github.com/xcyan/eccv16_attr2img да]| Генерация изображения как смесь переднего и заднего планов на основе многоуровневой генеративной модели.| [[Файл:Attribute2Image-example.png|128px|thumb|center|Male, no eyewear, frowning, receding hairline, bushy eyebrow, eyes open, кодируемыми pointy nose, teeth not visible, rosy cheeks, flushed face.]]|-| style = "text-align: center" | [[#GAN-INT-CLS|GAN-INT-CLS, 2016]] | style = "text-align: center" | <tex>7.88 \pm 0.07</tex>| style = "text-align: center" | <tex>2.88 \pm 0.04</tex>| style = "text-align: center" | <tex>60.62</tex>| style = "text-align: center" | <tex>64 \times 64</tex>| style = "text-align: center" | [https://github.com/soumith/dcgan.torch да]| Обучение на текстовых признаках, кодируемых гибридной сверточно-рекуррентнойнейронной сетью .| [[Файл:GAN-INT-CLS-example.png|128px|thumb|center|This flower is white and pink in color, with petals that have veins.]]|-| style = "text-align: center" | [[#StackGAN|StackGAN, 2017]] | style = "text-align: center" | <tex>8.45 \pm 0.03</tex>| style = "text-align: center" | <tex>3.70 \pm 0.04</tex>| style = "text-align: center" | <tex>74.05</tex>| style = "text-align: center" | <tex>256 \times 256</tex>| style = "text-align: center" | [https://github.com/hanzhanggit/StackGAN да]| Генерация изображения происходит в два этапа, на первом этапе создается примитивная форма изображения и задаются цвета объектов, на втором исправляются дефекты предыдущего этапа и добавляются более мелкие детали.| [[Файл:StackGAN-example.png|128px|thumb|center|This flower has a lot of small purple petals in a dome-like configuration.]]|-| style = "text-align: center" | [[#FusedGAN|FusedGAN, 2018]] | style = "text-align: center" | {{---}}| style = "text-align: center" | <tex>3.00 \pm 0.03</tex>| style = "text-align: center" | {{---}}| style = "text-align: center" | <tex>64 \times 64</tex>| style = "text-align: center" | нет| Генерация изображения в два этапа, на первом задаются признаки стиля, на втором генерируется изображение.| [[Файл:FusedGan_256x256_cub.png|128px|thumb|center|This bird has a bright yellow body, with brown on it's crown and wings.]]|-| style = "text-align: center" | [[#ChatPainter|ChatPainter, 2018]] | style = "text-align: center" | <tex>9.74 \pm 0.02</tex>| style = "text-align: center"| {{---}}| style = "text-align: center" | {{---}}| style = "text-align: center" | <tex>256 \times 256</tex>| style = "text-align: center" | нет| В качестве дополнительных данных для обучения используется диалог описания изображения.| [[Файл:ChatPainter_256x256_coco.png|128px|thumb|center|A person in yellow pants in on a snowboard.]]|-| style = "text-align: center" | [[#StackGAN++|StackGAN++, 2018]] | style = "text-align: center" | <tex>8.30 \pm 0.10</tex>| style = "text-align: center" | <tex>3.84 \pm 0.06</tex>| style = "text-align: center" | <tex>81.59</tex>| style = "text-align: center" | <tex>256 \times 256</tex>| style = "text-align: center" | [https://github.com/hanzhanggit/StackGAN-v2 да]| Генерация изображений разного масштаба из разных ветвей древовидной структуры, в которой несколько генераторов разделяют между собой большинство своих параметров.| [[Файл:StackGAN++-example.png|128px|thumb|center|A picture of a very clean living room.]]|-| style = "text-align: center" | [[#HTIS|HTIS, 2018]] | style = "text-align: center" | <tex>11.46 \pm 0.09</tex>| style = "text-align: center" | {{---}}| style = "text-align: center" | {{---}}| style = "text-align: center" | <tex>256 \times 256</tex>| style = "text-align: center" | нет| Генерация изображения разбивается на уровне символовнесколько шагов, сначала создается семантический макет из текста, затем этот макет преобразовывается в изображение.| [[Файл:HTIS-example.png|128px|thumb|center|A man is surfing in the ocean with a surfboard.]]|-| style = "text-align: center" | [[#AttnGAN | AttnGAN, 2018]] | style = "text-align: center" | <tex>25.89 \pm 0.47</tex>| style = "text-align: center" | <tex>4.36 \pm 0.03</tex>| style = "text-align: center" | <tex>28.76</tex>| style = "text-align: center" | <tex>256 \times 256</tex>| style = "text-align: center" | [https://github.com/taoxugit/AttnGAN да]| Выделение слов для генерации областей картинки с помощью механизма внимания.| [[Файл:AttnGan_256x256_coco.png|128px|thumb|center|A photo a homemade swirly pasta with broccoli carrots and onions. DCGAN имеет эффективную архитектуру ]]|-| style = "text-align: center" | [[#CVAE&GAN|CVAE&GAN, 2018]] | style = "text-align: center" | {{---}}| style = "text-align: center" | {{---}}| style = "text-align: center" | {{---}}| style = "text-align: center" | <tex>256 \times 256</tex>| style = "text-align: center" | нет| Разделение переднего и обучающую структурузаднего плана, сначала CVAE генерирует картинку в плохом качестве, после качество повышается с помощью GAN.| [[Файл:CVAE&GAN_256x256_cub.png|128px|thumb|center|This is a yellow and gray bird with a small beak.]]|-| style = "text-align: center" | [[#MMVR|MMVR, которая позволяет синтезировать 2018]] | style = "text-align: center" | <tex>8.30 \pm 0.78</tex>| style = "text-align: center" | {{---}}| style = "text-align: center" | {{---}}| style = "text-align: center" | <tex>256 \times 256</tex>| style = "text-align: center" | нет| Обучение на изменённом описании картинки.| [[Файл:MMVR_256x256_coco.png|128px|thumb|center|A boat on a beach near some water.]]|-| style = "text-align: center" | [[#MirrorGAN|MirrorGAN, 2019]] | style = "text-align: center" | <tex>26.47 \pm 0.41</tex>| style = "text-align: center" | <tex>4.56 \pm 0.05</tex>| style = "text-align: center" | {{---}}| style = "text-align: center" | <tex>256 \times 256</tex>| style = "text-align: center" | [https://github.com/qiaott/MirrorGAN да]| Генерация изображения птиц с использованием идеи обучения посредством переописания.| [[Файл:MirrorGANExample.png|128px|thumb|center|Boats at the dock with a city backdrop.]]|-| style = "text-align: center" | [[#Obj-GAN|Obj-GAN, 2019]] | style = "text-align: center" | <tex>31.01 \pm 0.27</tex>| style = "text-align: center" | {{---}}| style = "text-align: center" | <tex>17.03</tex>| style = "text-align: center" | <tex>256 \times 256</tex>| style = "text-align: center" | [https://github.com/jamesli1618/Obj-GAN да]| Основной принцип генерации изображений заключается в распознавании и цветов создании отдельных объектов из письменных описанийзаданного текстового описания.| [[Файл:Obj-GANExample.png|128px|thumb|center|A hotel room with one bed and a blue chair.]]|-| style = "text-align: center" | [[#LayoutVAE|LayoutVAE, 2019]] | style = "text-align: center" | {{---}}| style = "text-align: center" | {{---}}| style = "text-align: center" | {{---}}| style = "text-align: center" | <tex>256 \times 256</tex>| style = "text-align: center" | нет| Генерация стохастических макетов сцен (англ. ''stochastic scene layouts'') из заданного набора слов.| [[Файл:LayoutVAEExample.png|128px|thumb|center|Person, sea, surfboard.]]|-| style = "text-align: center" | [[#MCA-GAN|MCA-GAN, 2019]] | style = "text-align: center" | {{---}}| style = "text-align: center" | {{---}}| style = "text-align: center" | {{---}}| style = "text-align: center" | <tex>256 \times 256</tex>| style = "text-align: center" | нет| Генерация изображения с произвольных ракурсов, предоставленных человекомосновывающаяся на семантическом отображении (англ.''semantic mapping'').| [[Файл:MCA-GANExample.png|128px|thumb|center]]|}

Для обучения такой модели для птиц был использован набор данных Caltech=== Attribute2Image ===[[Файл: Attribute2Image-UCSD2.png|400px|thumb|right|Рисунок 3.<ref name="Attribute2Image"/> Пример результата работы Attribute2Image.]]'''Условная генерация изображений из визуальных атрибутов''' (англ. ''Conditional Image Generation from Visual Attributes, Attribute2Image''<ref name="caltechAttribute2Image">[httphttps://www.vision.caltecharxiv.eduorg/visipediaabs/CUB-2001512.00570 Xinchen Y.html Caltech-UCSD Birds 200 dataset]</ref>, а для цветов {{---}} Oxford-102Conditional Image Generation from Visual Attributes, 2015]</ref name="oxford">) моделирует изображение как смесь переднего и заднего планов и разрабатывает многоуровневую генеративную модель с выделенными скрытыми переменными (рис. 4), которые можно изучать от начала до конца с помощью [[Вариационный автокодировщик| вариационного автокодировщика]] (англ. ''Variational Autoencoder, VAE''). Экспериментируя с естественными изображениями лиц и птиц на наборах данных [https[Известные наборы данных#Caltech-UCSD Birds 200 (CUB)|Caltech-UCSD]] и [http://vis-www.robotscs.oxumass.ac.uk/~vgg/data/flowers/102edu/ Oxford Flowers 102 datasetlfw LFW]</ref> наряду Attribute2Image демонстрирует, что способен генерировать реалистичные и разнообразные изображения размером 64x64 пикселя с пятью текстовыми описаниями на изображениераспутанными скрытыми представлениями (англ. ''disentangled latent representations'') {{---}} это состояние, в котором каждый фактор приобретается как каждый элемент скрытых переменных, которые были собраны и использованы то есть если в качестве параметров оценкимодели с обученными скрытыми представлениями смещение одной скрытой переменной при сохранении других фиксированными генерирует данные, показывающие, что изменяется только соответствующий фактор. (рис. 3). Данная модель обучается на подмножестве обучающих категорийТаким образом, изученные генеративные модели показывают отличные количественные и визуальные результаты в задачах реконструкции и здесь будет продемонстрирована ее эффективность как на обучающем множествезавершения изображения, так и на тестовомобусловленного атрибутами.

DCGAN во многих случаях может генерировать на основе текста визуально<div class="oo-ui-panelLayout-scrollable" style="display: block; vertical-align:middle; height: auto; width: auto;">[[Файл:Attribute2Image-правдоподобные изображения размером ​64×64, а также отличается тем, что сама модель является генеративной состязательней сетью, а не только использует ее для постобработки1.png|thumb|alt=Архитектура Attribute2Image|x350px|center|Рисунок 4. Текстовые запросы кодируются с помощью текстового кодировщика <tex>\varphi<ref name="Attribute2Image"/tex>Архитектура Attribute2Image. Описание, внедренное в <tex>\varphi(t)</tex> сначала сжимается с помощью полностью связанного слоя до небольшого размера (на практике было использовано 128), затем применяется функция активации [[Практики реализации нейронных сетей|Leaky ReLU]] и результат конкатенируется с вектором шума <tex>z</texdiv>.

<div class="oo== GAN-INT-CLS ==='''Глубокая сверточная генеративная состязательная сеть''' (англ. ''Deep Convolutional Generative Adversarial Network, DCGAN'') {{-ui-panelLayout-scrollable" style="display: block; vertical}} обусловлена текстовыми признаками, кодируемыми гибридной сверточно-align:middle; height: auto; width: auto;">[[Файл:рекуррентнойнейронной сетью на уровне символов. DCGAN-имеет эффективную архитектуру (рис. 1) и обучающую структуру, которая позволяет синтезировать изображения птиц и цветов из текстовых описаний.png|thumb|alt=Архитектура DCGAN|x350px|center|Архитектура DCGAN]]</div>

Как только модель научилась генерировать правдоподобные изображенияДля обучения такой модели для птиц был использован набор данных [[Известные наборы данных#Caltech-UCSD Birds 200 (CUB)|Caltech-UCSD]], она должна также научиться согласовывать их а для цветов {{---}} [[Известные наборы данных#102 Category Flower|Oxford-102]]. Наряду с текстовым описанием и этим было бы неплохо если она научится оценивать, соответствуют ли изображенияэтому описанию или нет. Модель должна неявно разделять два источника ошибок: нереалистичные образы (для любого текста)и реалистичные образы неправильного классасобрано по пять текстовых описаний на изображение, которые не соответствуют текстовым признакам. Алгоритм обучения GAN был модифицирован таким образом, чтобы разделять эти источники ошибок. В дополнение к реальным/поддельным входным данным были использованы в дискриминатор во время обучения был добавлен третий тип входных данных, состоящий из реальных изображений с несовпадающим текстовым описанием, на которых дискриминатор должен обучиться оценивать поддельныекачестве параметров оценки.

<gallery mode="slideshow" caption="Пример результата работы DCGAN">Файл:DCGANво многих случаях может генерировать на основе текста визуально-2.png||alt=Сгенерированные правдоподобные изображения птицФайл:DCGAN-3размером ​64×64 пикселя, а также отличается тем, что сама модель является генеративной состязательней сетью, а не только использует ее для постобработки.png||alt=Сгенерированные изображения цветовТекстовые запросы кодируются с помощью текстового кодировщика <tex>\varphi</gallerytex> === Условная генерация изображений из визуальных атрибутов ===, который позволяет получить [[Файл: Attribute2Image-2Векторное представление слов|векторное представление слов]].png|400px|thumbЗатем применяется концепция [[Generative Adversarial Nets (GAN)#CGAN (Conditional Generative Adversarial Nets)|right|Пример результата работы Attribute2Imageусловной генеративной состязательной сети]]'''Условная генерация изображений из визуальных атрибутов''' (англ. ''Conditional Image Generation from Visual AttributesGenerative Adversarial Network, Attribute2ImageCGAN'') {{---}} это еще один способ создания изображений из визуальных атрибутов. Attribute2Image моделирует изображение как смесь переднего и заднего планов и разрабатывает многоуровневую генеративную модель с выделенными скрытыми переменнымиТаким образом, описание, которые можно изучать от начала до конца внедренное в <tex>\varphi(t)</tex> сначала сжимается с помощью вариационного автокодировщика. Экспериментируя с естественными изображениями лиц и птиц Attribute2полностью связанного слоя до небольшого размера (на практике было использовано 128), затем применяется функция активации [[Практики реализации нейронных сетей|Image демонстрирует, что способен генерировать реалистичные Leaky ReLU]] и разнообразные изображения результат конкатенируется с распутанными скрытыми представлениями. Модель использует общий алгоритм минимизации энергии для апостериорного вывода скрытых переменных с учетом новых изображений. Таким образом, изученные генеративные модели показывают отличные количественные и визуальные результаты в задачах реконструкции и завершения изображения, обусловленного атрибутамивектором шума <tex>z</tex>.

<div class="oo-ui-panelLayout-scrollable" style="display: block; vertical-align:middle; height: auto; width: auto;">[[Файл:Attribute2ImageDCGAN-1.png|thumb|alt=Рисунок 1. Архитектура Attribute2ImageDCGAN.|x350px|center|Рисунок 1.<ref name="DCGAN">[https://arxiv.org/abs/1605.05396 Scott R. {{---}} Generative Adversarial Text to Image Synthesis, 2016]</ref> Архитектура Attribute2ImageDCGAN.]]</div>

=== Составные генеративные состязательные сети ==='''Составные генеративные состязательные сети''' Как только модель научилась генерировать правдоподобные изображения (англрис. ''Stacked Generative Adversarial Networks2), она должна также научиться согласовывать их с текстовым описанием, StackGAN'') {{---}} служат для генерации фотореалистичный изображений размера 256x256и было бы неплохо, заданных текстовыми описаниямиесли бы она научилась оценивать, где трудная задача разлагается на более управляемые подзадачи с помощью процесса эскиз-уточнения соответствуют ли изображениязаданному описанию или нет. Модель должна неявно разделять два источника ошибок: нереалистичные образы (англ. ''sketch-refinement process''для любого текста)и реалистичные образы неправильного класса, которые не соответствуют текстовым признакам. Таким Алгоритм обучения GAN был модифицирован таким образом, Stage-I GAN рисует примитивную форму и цвета объекта на основе данного текстового описания, получая изображения Stage-I с низким разрешениемчтобы разделять эти источники ошибок. Stage-II GAN принимает результаты Stage-I и текстовые описания В дополнение к реальным/поддельным входным данным в качестве дискриминатор во время обучения был добавлен третий тип входных данных и генерирует изображения высокого разрешения , состоящий из реальных изображений с фотореалистичными деталями. Он способен исправлять дефекты в результатах этапа I и добавлять привлекательные детали в процессе уточнения (англ. ''refinement process''). Чтобы улучшить разнообразие синтезированных изображений и стабилизировать обучение CGAN вводится техника условно-когнитивной регуляции (англ. ''Conditioning Augmentation'')несовпадающим текстовым описанием, которая способствует плавности в обусловливающем многообразиина которых дискриминатор должен обучиться оценивать поддельные изображения.

=== StackGAN++ ==='''Составные генеративные состязательные сети''' (англ. ''Stacked Generative Adversarial Networks, StackGAN''<ref name=== Some Name Here (Inferring Semantic Layout for Hierarchical "StackGAN>[https://arxiv.org/abs/1612.03242 Han Z., Tao X. {{---}} Text-toPhoto-realistic Image Synthesiswith Stacked Generative Adversarial Networks, 2017]</ref>) ====== AttnGAN ===Последние разработки исследователей в области автоматического создания служат для генерации фотореалистичных изображений по текстовому описаниюразмера 256x256, основаны заданных текстовыми описаниями. В данной модели трудная задача генерации изображения разлагается на [[Generative Adversarial Nets более мелкие подзадачи с помощью процесса эскиз-уточнения (GAN)|генеративных состязательных сетях (GANsангл. ''sketch-refinement process'')]].Общепринятый подход заключается в кодировании всего Таким образом, Stage-I GAN рисует примитивную форму и цвета объекта на основе данного текстового описания в глобальное векторное пространство предложений , получая изображения Stage-I с низким разрешением (англрис. global sentence vector5). Такой подход демонстрирует ряд впечатляющих результатов, но у него есть главные недостатки: отсутствие чёткой детализации на уровне слов Stage-II GAN принимает результаты Stage-I и текстовые описания в качестве входных данных и невозможность генерации изображений генерирует изображения высокого разрешенияс фотореалистичными деталями. Эта проблема становится еще Он способен исправлять дефекты в результатах этапа I и добавлять более серьезной при генерации сложных кадров, таких как мелкие детали в наборе данных COCO<ref name="COCO">процессе уточнения (англ. ''refinement process''). Чтобы улучшить разнообразие синтезированных изображений и стабилизировать обучение [[https://cocodataset.org COCO dataset Generative Adversarial Nets (Common Objects in ContextGAN)#CGAN (Conditional Generative Adversarial Nets)|CGAN]</ref>], вводится техника условно-когнитивной регуляции (англ. ''Conditioning Augmentation''), которая способствует плавности в обусловливающем многообразии.

В качестве решения данной проблемы была предложена<refdiv class="oo-ui-panelLayout-scrollable" style="display: block; vertical-align:middle; height: auto; width: auto;">[https[Файл://openaccessStackGAN-1.thecvfpng|thumb|alt=Архитектура StackGAN|x350px|center|Рисунок 5.com<ref name="StackGAN/content_cvpr_2018/papers/Xu_AttnGAN_Fine-Grained_Text_CVPR_2018_paper> Архитектура StackGAN.pdf Tao X., Pengchuan Z. {{---}} AttnGAN: Fine-Grained Text to Image Generationwith Attentional Generative Adversarial Networks, 2018]] </refdiv> новая [[Generative Adversarial Nets (GAN)|генеративно-состязательная нейросеть]] с вниманием (англ. Attentional Generative Adversarial Network, AttnGAN), которая относится к вниманию как к фактору обучения, что позволяет выделять слова для генерации фрагментов изображения.

<div class="oo-ui-panelLayout-scrollable" style="displayВклад предлагаемого метода состоит в следующем: block; vertical-align:middle; height: auto; width: auto;">* Предлагается новая составная генеративная состязательная сеть для синтеза фотореалистичных изображений из текстовых описаний. Он разбивает сложную задачу генерации изображений с высоким разрешением на более мелкие подзадачи и значительно улучшает состояние дел. StackGAN впервые генерирует изображения с разрешением 256х256 пикселей с фотореалистичными деталями из текстовых описаний.* Предлагается техника Condition Augmentation для стабилизации обучения [[Файл:AttnGanNetwork.png|thumb|alt=Архитектура AttnGANGenerative Adversarial Nets (GAN)#CGAN (Conditional Generative Adversarial Nets)|x350px|center|Архитектура AttnGANCGAN]]</div>, а также для улучшения разнообразия генерируемых выборок.* Обширные качественные и количественные эксперименты демонстрируют эффективность дизайна модели в целом, а также влияние отдельных компонентов, которые предоставляют полезную информацию для разработки будущих условных моделей GAN.

Модель состоит из нескольких взаимодействующих нейросетей:*Энкодер текста (англ. Text Encoder) и изображения (англ. Image Encoder) векторизуют исходное текстовое описания и реальные изображения. В данном случае текст рассматривается в виде последовательности отдельных слов, представление которых обрабатывается совместно с представлением изображения, что позволяет сопоставить отдельные слова отдельным частям изображения. Таким образом реализуется механизм внимания (англ. Deep Attentional Multimodal Similarity Model, DAMSM).*<math>F^{ca}</math> {{Генератор Stage-II проектируется как сеть кодировщик--}} создает сжатое представление об общей сцене на изображении, исходя из всего текстового описаниядекодировщик с остаточными блоками. Значение <tex>C</tex> на выходе конкатенируется с вектором из нормального распределения <tex>Z</tex>Что касается дискриминатора, который задает вариативность сцены. Эта информация является основой для работы генератора.*Attentional Generative Network {{его структура аналогична структуре дискриминатора Stage---}} самая большая сеть, состоящая из трех уровней. Каждый уровень порождает изображения все большего разрешения, от 64x64 до 256x256 пикселей, и результат работы на каждом уровне корректируется I только с помощью сетей внимания <math>F^{attn}</math>дополнительными блоками понижающей дискретизации, которые несут в себе информацию о правильном расположении отдельных объектов сцены. Кроме того, результаты поскольку на каждом уровне проверяются тремя отдельно работающими дискриминаторами, которые оценивают реалистичность этом этапе размер изображения и соответствие его общему представлению о сценебольше.

Благодаря модификациям нейросеть AttnGAN показывает значительно лучшие результаты, чем традиционные системы GAN. В частности, максимальный из известных показателей inception score<ref>[https://arxiv.org/abs/1801.01973 A Note on the {| class="wikitable"|+ '''Inception Score]</ref> scores для существующих нейросетей улучшен на 14,14% сгенерированных изображений в тестовых наборах [[Известные наборы данных#Caltech-UCSD Birds 200 (с 3,82 до 4,36CUB) на наборе данных |Caltech-UCSD]], [[Известные наборы данных#102 Category Flower|Oxford-102]] и [[Известные наборы данных#COCO|COCO]]'''|-! Набор данных !! Inception Score <ref name="caltechinception"/> и улучшен на целых 170,25% |-| style = "text-align: right" | [[Известные наборы данных#Caltech-UCSD Birds 200 (с 9,58 до 25,89CUB)|Caltech-UCSD]] || style = "text-align: center" | <reftex>[https://paperswithcode3.70 \pm 0.com/sota04</tex>|-| style = "text-toalign: right" | [[Известные наборы данных#102 Category Flower|Oxford-image102]] || style = "text-generation-on-coco Test results {{---}} Text-to-Image Generation on COCO]align: center" | <tex>3.20 \pm 0.01</reftex> на более сложном наборе |-| style = "text-align: right" | [[Известные наборы данных #COCO<ref name|COCO]]|| style ="COCOtext-align: center" | <tex>8.45 \pm 0.03</tex>.|}

<gallery mode="slideshow" caption="Пример результата работы AttnGAN">Файл:Attngan_bird.png|Во второй и третьей строке приведены по 5 наиболее используемых слов сетями внимания <math>F_{1}^{attn}</math> Для проверки метода были проведены обширные количественные и <math>F_{2}^{attn}</math> соответственно|alt=Сгенерированная красная птичкаФайл:Attngan_cocoкачественные оценки.png|Во второй и третьей строке приведены по 5 наиболее используемых слов сетями внимания <math>F_{1}^{attn}</math> и <math>F_{2}^{attn}</math> соответственно|alt=Сгенерированная едаФайл:Attngan_fruit.png|Во второй и третьей строке приведены по 5 наиболее используемых слов сетями внимания <math>F_{1}^{attn}</math> и <math>F_{2}^{attn}</math> соответственно|alt=Сгенерированные фрукты</gallery> === Stacking VAE and GAN ===Большинство существующих методов генерации изображения по тексту нацелены на создание целостных изображений, которые не разделяют передний и задний план изображений, Результаты работы модели сравниваются с двумя современными методами синтеза текста в результате чего объекты искажаются фоном. Более того, они обычно игнорируют взаимодополняемость различных видов генеративных моделей. Данное решение<ref>[https://ieeexplore.ieee.org/document/8499439 Chenrui Z., Yuxin P. изображение {{---}} Stacking VAE and [[#GAN for Context-awareTextINT-toCLS|GAN-Image Generation, 2018]</ref> предлагает контекстноINT-зависимый подход к генерации изображения, который разделяет фон и передний план. Для этого используется взаимодополняющая связка [[Вариационный автокодировщик| вариационного автокодировщика (англ. Variational Autoencoder, VAE)CLS]] и [[Generative Adversarial Nets (#GAN)-INT-CLS|генеративно-состязательной нейросетиGAWWN]](рис. 6).

<div classgallery mode=packed heights=350px caption="oo-ui-panelLayout-scrollableРисунок 6. Пример результата работы StackGAN." style="display>Файл: block; verticalStackGAN-align:middle; height: auto; width: auto;2.png|Сгенерированные изображения птиц<ref name="StackGAN/>[[.|alt=Сгенерированные изображения птицФайл:Stacking_VAE&GANStackGAN-3.png|thumbСгенерированные изображения цветов<ref name="StackGAN/>.|alt=Архитектура Stacking VAE and GAN|x350px|center|Архитектура Stacking VAE and GAN]]Сгенерированные изображения цветов</divgallery>

[[Вариационный автокодировщик| VAE]] считается более устойчивым чем GAN, это можно использовать для достоверной подборки распределения и выявления разнообразия исходного изображения. Однако он не подходит для === FusedGAN ===Для улучшения генерации изображений высокого качествапо описанию и получения контролируемой выборки, тнекоторые модели разделяют процесс генерации на несколько этапов. к. генерируемые VAE изображения легко размываются. Чтобы исправить данный недостаток архитектура включает два компонента:*Контекстно-зависимый вариационный кодировщик (англ. conditional Например, в модели [[Вариационный автокодировщик#Attribute2Image| VAEAttribute2Image]], CVAE) используется для захвата основной компоновки раздельная генерации фона и цвета, разделяя переднего плана позволила получить контролируемую выборку (фиксируя фон и передний план изображения.*[[Generative Adversarial Nets (GAN)|GAN]] уточняет вывод CVAE с помощью состязательного обученияменяя основную сцену, которое восстанавливает потерянные детали и исправляет дефекты для создания реалистичного изображениянаоборот). Полученные результаты проверки на 2 наборах данных (Caltech-UCSDВ свою очередь модель FusedGAN<ref name="caltechFusedGAN">[https:/> и Oxford-102<ref name="oxford"/>) эмпирически подтверждают эффективность предложенного методаarxiv.org/abs/1801.05551 Navaneeth B.<gallery mode="slideshow" caption="Сравнение CVAE&GAN, StackGan и GANGang H. {{---INT}} Semi-CLS "supervised FusedGAN for ConditionalImage Generation, 2018]</ref>Файл:CVAE&GAN_example_flowersможет выполнять контролируемую выборку различных изображений с очень высокой точностью, что так же достигается путём разбиения процесса генерации изображений на этапы.pngВ данной модели в отличие от [[#StackGAN||alt=Пример результата работы CVAE&StackGAN]], где несколько этапов [[Generative Adversarial Nets (GAN (flowers)Файл:CVAE&GAN_example_bird.png|Сверху вниз начиная со второй строки: CVAE&GAN]] обучаются отдельно с полным контролем помеченных промежуточных изображений, FusedGAN имеет одноступенчатый конвейер со встроенным StackGAN, GAN-INT-CLS|alt=Пример результата работы CVAE&GAN (birds)</gallery> .

В предыдущих и последующих моделях для создания изображений используются текстовые описания. Однако они могут быть недостаточно информативными, чтобы охватить все представленные изображения, и модели будет недостаточно данных для того чтобы сопоставить объекты на изображениях со словами в описании. Поэтому в качестве дополнительных данных в модели ChatPainter предлагается <ref name="ChatPainter">[https://arxiv.org/abs/1802.08216 Shikhar S., Dendi S. {{---}} ChatPainter: Improving Text to Image Generation using Dialogue, 2018]</ref> использовать диалоги, которые дополнительно описывают сцены(пример рис. 16). Это приводит к значительному улучшению Inception score<ref name="inception score "/> и качества генерируемых изображений в наборе данных [[Известные наборы данных#COCO|MS COCO (Microsoft COCO dataset)<ref name="MSCOCO">[https://www.microsoft.com/en-us/research/wp-content/uploads/2014/09/LinECCV14coco.pdf Microsoft COCO]</ref>]. Для создания нового набора данных с диалогами, были объединены описания представленные в наборе данных [[Известные наборы данных#COCO|MS COCO<ref name="MSCOCO" />]], с данными из Visual Dialog dataset (VisDial)<ref>[https://arxiv.org/abs/1611.08669 Visual Dialog]</ref>.<div class="oo-ui-panelLayout-scrollable" style="display: block; vertical-align:middle; height: auto; width: auto;">[[Файл: ChatPainter.png|thumb| alt=Архитектура ChatPainter|x350px|center| Рисунок 15.<ref name="ChatPainter"/> Архитектура ChatPainter: <ol style="list-style-type:lower-alpha">

[[Файл:SurfBoard-questions.png|alt=Изображение, сгенерированное моделью ChatPainter для данного описания и диалога|thumb|x200px|right|Рисунок 16.<ref name="ChatPainter"/> Пример работы ChatPainter.]]

Данная архитектура (смрис. рис15) опирается на модель [[#StackGAN|StackGAN]]. StackGAN генерирует изображение в два этапа: Stage-I генерирует на первом этапе генерируется грубое изображение 64×64, а Stage-II генерирует на втором генерируется уже улучшенное изображение 256×256.

Формирование вектора текстовых описаний <tex>\phi_{t}</tex> происходит путем кодирования подписей с помощью предварительно обученного энкодеракодировщика<ref>[https://github.com/reedscot/icml2016 Pre-trained encoder for ICML 2016 paper]</ref>. Для генерации диалоговых вложений <tex>\zeta_{d}</tex> используется два метода:

*Не рекурсивный энкодер Нерекурсивный кодировщик {{---}} сжимает весь диалог в одну строку и кодирует его с помощью предварительно обученного энкодера кодировщика Skip-Thought<ref>[https://github.com/ryankiros/skip-thoughts Skip-Thought encoder]</ref>.

*Рекурсивный энкодер кодировщик {{---}} генерирует Skip-Thought векторы (англ. ''Skip-Thought Vectors'')<ref>[https://arxiv.org/abs/1506.06726 Skip-Thought Vectors]</ref> для каждого сообщения в диалоге, а затем кодирует их двунаправленной [[Рекуррентные нейронные сети| рекуррентной нейронной сетью]] c [[Долгая краткосрочная память|LSTM]].

Затем выходы описаний и диалогов объединяются и передаются в качестве входных данных в модуль аугментации данных (англ. ''Conditioning Augmentation, CA''). Модуль CA нужен для получения скрытых скрытые условных переменных, которые передаются на вход генератору.Архитектура блоков (рис. 15) upsample, downsample и residual blocks сохраняется такой же, как и у исходного StackGAN

Результаты тестирования и сравнение модели ChatPainter с другими приведены в таблице. Из неё видно, что модель ChatPainter, которая получает дополнительную диалоговую информацию, имеет более высокий Inception Scorescore<ref name="inception"/>, в отличии от модели [[#StackGAN|StackGAN]]. Кроме того, рекурсивнаяверсия ChatPainter получилась лучше, чем не рекурсивная нерекурсивная версия. Вероятно, это связано с тем, что в не рекурсивной нерекурсивной версии энкодер кодировщик не обучается на длинных предложениях сворачивая весь диалог в одну строку.

|+ '''Inception scores для сгенерированных изображений в тестовом наборе [[Известные наборы данных#COCO|MS COCO<ref name="MSCOCO" />]]'''

! Модель !! Inception Score<ref name="inception"/>

| style = "text-align: right" | [[#StackGAN |StackGAN]] || style = "text-align: center" | <tex>8.45 \pm 0.03</tex>

| style = "text-align: right" | ChatPainter (non-recurrent)|| style = "text-align: center" | '''<tex>9.43 \pm 0.04</tex> '''

| style = "text-align: right" | '''ChatPainter (recurrent)'''|| style = "text-align: center" | '''<tex>9.74 \pm 0.02</tex>'''

| style = "text-align: right" | [[#AttnGAN |AttnGAN]] || style = "text-align: center" | <tex>25.89 \pm 0.47</tex>

[[Файл:MMVR.png|thumb|right|x360px|alt=Архитектура MMVR|Рисунок 17.<ref name="MMVR"/> Архитектура MMVR.]]'''Модель мультимодальной векторной сети ''' (англ. ''Multi-Modal Vector Representation, MMVR''), впервые предложенная в статье<refname="MMVR">[https://arxiv.org/abs/1809.10274 Shagan S., Dheeraj P. {{---}} SEMANTICALLY INVARIANT TEXT-TO-IMAGE GENERATION, 2018]</ref>, способна создавать изображения по описанию и генерировать описание исходя из предоставленного изображения. Она включает несколько модификаций для улучшения генерации изображений и описаний, а именно: вводится [[Функция потерь и эмпирический риск|функция потерь]] на основе метрики N-грамм, которая обобщает описание относительно изображения; так же для генерации вместо одного используется несколько семантически сходных предложений, что так же улучшает создаваемые изображения.

Модель может быть разделена на два взаимозависимых модуля (смрис. рис17):

Прямое распространение (англ. ''forward pass'') инициируется путем передачи случайного скрытого вектора (англ. ''latent vector'') <tex>h_{t}</tex> в генератор изображений (<tex>G</tex>), который генерирует изображение <tex>\hat{x}</tex>. Затем по сгенерированной картинке генератор описаний создаёт подпись. Для определения ошибки между сгенерированным описанием <tex>\hat{y}</tex> и исходным описанием <tex>y</tex> используется перекрестная энтропия на уровне слов. Она используется для итеративного обновления <tex>h_{t}</tex> (заодно и <tex>\hat{x}</tex>), оставляя при этом все остальные компоненты фиксированными. С каждой итерацией <tex>\hat{y}</tex> приближается к < tex>y</tex>, и сгенерированное изображение на каждом шаге <tex>\hat{x}</tex> является временным представлением конечного изображения. Для улучшения реалистичности изображения используется энкодер шумоподавленя кодировщик шумоподавления (англ. ''Denoising Autoencoder, DAE'')<ref name="PPGN">[https://arxiv.org/abs/1612.00005 Anh N., Jeff C. {{---}} Plug & Play Generative Networks: Conditional Iterative Generation of Images in Latent Space,2017]</ref> {{---}} в правило обновления добавляется ошибка восстановления изображения (англ. ''reconstruction error''), вычисляемая как разница между <tex>h_{t}</tex> и <tex>\hat{h_{t}}</tex>.[[файл:MMVR_example.png|thumb|left|x190px|Рисунок 18.<ref name="MMVR"/> Сравнение PPGN<ref name="PPGN" /> и MMVR.]]

|+ '''Inception scores для сгенерированных изображений в тестовом наборе [[Известные наборы данных#COCO|MS COCO<ref name="MSCOCO" />]] '''

! Модель !! Inception Score<ref name="inception"/>

|}MMVR (<tex>N_{c}</tex>) {{---}} модификация MMVR с несколькими текстовыми описаниями на изображение, где <tex>N_{c}</tex> {{- --}} количество описаний.

{| class="wikitable" style="float:right; margin-left: 10px;"|+ '''Inception scores для сгенерированных изображений в тестовых наборах [[Известные наборы данных#Caltech-UCSD Birds 200 (CUB)|Caltech-UCSD]] и [[Известные наборы данных#COCO|COCO]]'''|-! Модель !! Inception Score ([[Известные наборы данных#Caltech-UCSD Birds 200 (CUB)|Caltech-UCSD]]) !! Inception Score ([[Известные наборы данных#COCO|COCO]])|-| style = "text-align: right" | [[#GAN-INT-CLS|GAN-INT-CLS]] || style = "text-align: center" | <tex>2.88 \pm 0.04</tex> || style = "text-align: center" | <tex>7.88 \pm 0.07</tex>|-| style = "text-align: right" | [[#GAN-INT-CLS|GAWWN]] || style = "text-align: center" | <tex>3.70 \pm 0.04</tex> || style = "text-align: center" | <tex>-</tex>|-| style = "text-align: right" | [[#StackGAN | StackGAN]] || style = "text-align: center" | <tex>3.62 \pm 0.07</tex> || style = "text-align: center" | <tex>8.45 \pm 0.03</tex>|-| style = "text-align: right" | [[#StackGAN++ | StackGAN++]] || style = "text-align: center" | <tex>3.82 \pm 0.06</tex> || style = "text-align: center" | <tex>-</tex>|-| style = "text-align: right" | PPGN<ref name="PPGN"/> || style = "text-align: center" | <tex>-</tex> || style = "text-align: center" | <tex>9.58 \pm 0.21</tex>|-| style = "text-align: right" | [[#AttnGAN | AttnGAN]] || style = "text-align: center" | <tex>4.36 \pm 0.03</tex> || style = "text-align: center" | <tex>25.89 \pm 0.47</tex>|-| style = "text-align: right" | MirrorGAN || style = "text-align: center" | <tex>4.56 \pm 0.05</tex> || style = "text-align: center" | <tex>26.47 \pm 0.41</tex>|} Генерация изображения из заданного текстового описания преследует две главные цели: реалистичность и семантическое постоянство. Несмотря на то, что существует значительный прогресс в создании визуально реалистичных изображений высокого качества посредством [[Generative Adversarial Nets (GAN) | генеративных состязательных сетей]], обеспечение вышепоставленных целей все еще является довольно сложной задачей. Для осуществления попытки их реализации рассмотрим text-to-image-to-text фреймворк с вниманием, сохраняющий семантику, под названием <b>MirrorGAN</b><ref name="MirrorGAN">[https://arxiv.org/abs/1903.05854 Tingting Q., Jing Z. {{---}} MirrorGAN: Learning Text-to-image Generation by Redescription, 2019]</ref>. Данный фреймворк, который из текстового описания генерирует изображение, использует идею обучения с помощью переописания (англ. ''redescription'') и состоит из трёх модулей:* Модуль встраивания семантического текста (англ. ''semantic text embedding module, <b>STEM</b>'').* Глобально-локальный совместный модуль с вниманием для создания каскадных изображений (англ. ''global-local collaborative attentive module for cascaded image generation, <b>GLAM</b>'').* Модуль регенерации семантического текста и выравнивания (англ. ''semantic text regener-ation and alignment module, <b>STREAM</b>'').STEM создает встраивания на уровне слов и предложений, GLAM имеет каскадную архитектуру создания результирующих изображений от грубых до детализированных, используя как внимание к локальным словам, так и к глобальным предложениям, чтобы прогрессивно совершенствовать семантическое постоянство и разнообразие у сгенерированных изображений, а STREAM стремится к восстановлению текстового описания созданного изображения, которое семантически схоже с заданным описанием. Если изображение, сгенерированное с помощью T2I (text-to-image) , семантически консистентно с заданным описаниемсоответствует заданному описанию, его текстовое описание , созданное посредством I2T (image-to-text) должно предоставлять аналогичную семантику семантически совпадать с заданным.

Чтобы обучать модель сквозным методом, будем использовать две состязательные потери[[Функция потерь и эмпирический риск | функции потерь]]: # Состязательная потеря в визуальном реализме и реалистичности: <tex>\mathcal{L}_{G_i}^{VR} = -\frac{1}{2} \mathbb{E}_{I_i \sim p_{I_i}} [\log(D_i(I_i))]</tex>.# Состязательная потеря в семантическом постоянстве: <tex>\mathcal{L}_{G_i}^{SC} = -\frac{1}{2} \mathbb{E}_{I_i \sim p_{I_i}} [\log(D_i(I_i, s))]</tex>.Где <tex>I_i</tex> {{---}} сгенерированное на этапе <tex>i</tex> изображение, взятое из распределения <tex>p_{I_i}</tex>. В добавокВдобавок, для максимального эффективного использования двойного регулирования T2I и I2T, применим текстово-семантическую реконструированную потерю функцию потерь, основанную на перекрёстной энтропии: <tex>\mathcal{L}_{stream} = -\displaystyle\sum_{t = 0}^{L - 1} \log(p_t(T_t))</tex>.

<div class="oo-ui-panelLayout-scrollable" style="display: block; vertical-align:middle; height: auto; width: auto;">[[Файл:MirrorGAN.png|thumb|leftcenter|x400pxx350px|Рисунок 21.<ref name="MirrorGAN"/> Архитектура MirrorGAN.]]</div> MirrorGan представляет собой зеркальную структуру, объединяя T2I и I2T. Чтобы сконструировать многоэтапный каскадный генератор, все три сети генерации изображений (<b>STEM</b>, <b>GLAM</b> и <b>STREAM</b>) необходимо объединить. В качестве архитектуры STREAM будем использовать довольно распространенный фреймворк создания текстового описания изображения (англ. ''image captioning framework''), базирующийся на кодировании и декодировании. Кодировщик изображений {{---}} это [[Сверточные нейронные сети | свёрточная нейронная сеть]], предварительно обученная на ImageNet<ref name="ImageNet">[http://www.image-net.org/ ImageNet image database ]</ref>, а декодировщик {{---}} это [[Рекуррентные нейронные сети | рекуррентная нейронная сеть]]. Предварительное обучение STREAM помогло MirrorGAN достичь более стабильного процесса обучения и более быстрой сходимости, в то время, как их совместная оптимизация довольно нестабильна, занимает много места и долго работает. Структура кодировщик-декодировщик и соответствующие ей параметры фиксированы во время обучения других модулей MirrorGAN. Обучая <tex>G_i</tex>, градиенты из <tex>\mathcal{L}_{stream}</tex> [[Обратное распространение ошибки | обратно распространяются]] через STREAM в <tex>G_i</tex>, веса сетей которых остаются фиксированными. Финальная целевая функция генератора выглядит так: <tex>\mathcal{L}_G = \displaystyle\sum_{i = 0}^{m - 1}{\mathcal{L}_{G_i}^{VR} + \mathcal{L}_{G_i}^{SC} + \lambda \mathcal{L}_{stream}}</tex>, где <tex>\lambda</tex> {{---}} вес потери для обработки участия состязательной потери (англ. ''adversarial loss'') и потери текстово-семантической реконструкции (англ. ''text-semantic reconstruction loss''). Для наилучшего качества генерации можно поставить коэффициент <tex>\lambda = 20</tex>. Показатель Inception Score<ref name="inception"/> был использован для измерения как объективности, так и разнообразия сгенерированных изображений. [https://en.wikipedia.org/wiki/Evaluation_measures_(information_retrieval)#R-Precision R-precision] был использован для вычисления визуально-семантической схожести между сгенерированными изображениями и их соответствующими текстовыми описаниями. <div class="oo-ui-panelLayout-scrollable" style="display: block; vertical-align:middle; height: auto; width: auto;">[[Файл:MirrorGAN&Co.jpg|thumb|center|x500px|Рисунок 22.<ref name="MirrorGAN"/> Сравнение MirrorGAN, [[#AttnGAN|AttnGAN]] и других генеративных состязательных сетей.]]</div> === TextKD-GAN ===Генерация текста представляет особый интерес во многих приложениях [https://en.wikipedia.org/wiki/Neuro-linguistic_programming нейролингвистического программирования] (англ. ''neuro-linguistic programming, NLP''), таких как [https://en.wikipedia.org/wiki/Machine_translation машинный перевод], моделирование языка и обобщение текста. [[Generative Adversarial Nets (GAN) | Генеративные состязательные сети]] достигли замечательного успеха в создании высококачественных изображений в [[Компьютерное зрение | компьютерном зрении]], и в последнее время они также вызвали большой интерес со стороны сообщества NLP. Однако достижение подобного успеха в NLP было бы более сложным из-за дискретности текста. В данной статье<ref name="TextKD-GAN">[https://arxiv.org/abs/1905.01976 Md. Akmal H. and Mehdi R.{{---}} TextKD-GAN: Text Generation using KnowledgeDistillation and Generative Adversarial Networks, 2019]</ref> вводится метод, использующий дистилляцию знаний (перенос знаний, усвоенных большой моделью (учителем), на меньшую модель (ученика)) для эффективного оперирования настройками сети.

MirrorGan TextKD-GAN представляет собой зеркальную структуру, объдиняя T2I и I2T. Она состоит из трех генераторов. Чтобы сконструировать мультиэтапный каскадный генератор, нужно совместить все три сети себя решение для основного узкого места использования генеративных состязательных сетей для генерации изображений последовательно. В качестве архитектуры STREAM будем использовать широко используемый фреймворк захвата изображениятекста с <b>дистилляцией знаний</b> {{---}} методом, базированный на кодировке и декодировкепереносящим знания смягченного вывода модели (учителя) в меньшую модель (ученика). Кодировщик изображений есть [[Сверточные нейронные сети | свёрточная нейронная сеть]], предварительно обученная Решение основано на ImageNetавтокодировщике (учителе), а декодировщик есть [[Рекуррентные нейронные сети | рекуррентная нейронная сеть]]чтобы получить гладкое представление настоящего текста. Предварительное обучение STREAM помогло MirrorGAN достичь более стабильного процесса обучения и более быстрой сходимостиЭто представление затем подается в дискриминатор TextKD-GAN вместо обычного one-hot представления. Генератор (студент) пытается изучить многообразие смягченного гладкого представления автокодировщика. TextKD-GAN, в то времяконечном итоге, будет превосходить обычный генератор текста на основе генеративных состязательных сетей, как их совместая оптимизация довольно нестабильна и с точки зрения занимаемого места и времени очень дорога. Структура кодировщик-декодировщик и соответствующие ей параметры фиксированы во время обучения других модулей MirrorGANкоторый не нуждается в предварительном обучении.

Обучая <texdiv class="oo-ui-panelLayout-scrollable" style="display: block; vertical-align:middle; height: auto; width: auto;">G_i[[Файл:TextKD-GAN_Model.png|thumb|center|x400px|Рисунок 27.<ref name="TextKD-GAN"/tex>, градиенты из <tex>L_{stream}Модель TextKD-GAN для генерации текста.]]</texdiv> обратно распространяются через STREAM в <tex>G_i</tex>, чьи сети остаются фиксированными.

<tex>\mathcal{L}_G = \displaystyle\sum_{i = 0}^{m В общепринятом текстовом распознавании, реальные и сгенерированные входные данные дискриминатора будут иметь разные типы ([https://en.wikipedia.org/wiki/One- 1}{\mathcal{L}_{G_i} + \lambda \mathcal{L}_{stream}}<hot one-hot] и [https:/tex>/en.wikipedia.org/wiki/Softmax_function softmax]). Один из способов избежать этой проблемы состоит в получении непрерывно гладкого представление слов, а не one-hot представления, и обучении дискриминатора различать их. На рисунке 27 проиллюстрирована модель, в которой используется стандартный автокодировщик (учитель), чтобы заменить one-hot представление выходом, перестроенным softmax-функцией, который является представлением, дающим меньшую дисперсию градиентов. Как видно, вместо one-hot представления реальных слов смягченный преобразованный выход автокодировщика подается на вход дискриминатору. Эта техника значительно усложняет распознавание для самого дискриминатора. Генератор с softmax выходом пытается имитировать распределение выходного сигнала автокодировщика вместо обычного one-hot представления.

Для наилучшего качества генерацииОбучение автокодировщика и TextKD-GAN происходит одновременно. Чтобы добиться этого, поставим коэффициент необходимо раздробить целевую функцию на три члена:# Реконструирующий член для автокодировщика: <tex>\lambda min\limits_{(\varphi, \psi)} L_{AE}(\varphi, \psi) = \min\limits_{(\varphi, \psi)} \| x - \mathrm{softmax}(\mathrm{dec}_\psi(\mathrm{enc}_\varphi(x))) \| ^ 2.</tex># [[Функция потерь и эмпирический риск | Функция потерь]] для дискриминатора с градиентным штрафом (англ. ''discriminator loss function with gradient penalty''):<tex>\min\limits_{w \in W} L_{discriminator}(w) = 20\min\limits_{w \in W} -E_{x \sim P_x} [f_w(\mathrm{dec}_\psi(\mathrm{enc}_\varphi(x)))] + E_{z \sim P_z} [f_w(G(z))] + \lambda_2 E_{\hat{x} \sim P_{\hat{x}}} [(\| \nabla_{\hat{x}} f_w(\hat{x}) \| _2 - 1)^2].</tex># Состязательная стоимость (англ. ''adversarial cost'') генератора: <tex>\min\limits_\theta L_{Gen}(\theta) = -\min\limits_\theta E_{z \sim P_z} [f_w(G(z))].</tex>

Показатель Inception был использован для измерения как объективностиЭти функции потерь обучаются поочередно, так и разнообразия сгенерированных изображенийчтобы оптимизировать различные части модели. R-precision был использован для вычисления визуально-семантической схожести между сгенерированными изображениями и их соответствующими текстовыми описаниямиВ члене штрафа градиента необходимо посчитать норму градиента случайных выборок <tex>\hat{x} \sim P_{\hat{x}}</tex>.

<div class="oo-ui-panelLayout-scrollable" style="display: block; vertical-align:middle; height: auto; width: auto;">[[Файл:MirrorGANTextKD-GAN&Co.jpgpng|thumb|center|x600pxx500px|Сравнение MirrorGAN Рисунок 28.<ref name="TextKD-GAN"/> Дивергенция Дженсена-Шеннона (англ. ''Jensen-Shannon divergence, JSD'') между сгенерированным и других генеративных состязательных сетейобучающимся предложениями (n-граммами) полученных из эксперимента SNLI<ref>[https://nlp.stanford.edu/projects/snli/ The Stanford Natural Language Inference (SNLI) Corpus]</ref> (Stanford Natural Language Inference, Стэнфордский Вывод Естественного Языка).]]</div>

Управляемая объектами '''Объектно-управляемая [[Generative Adversarial Nets (GAN)| генеративно-генеративная состязательная сеть]] с вниманием ''' (англ. ''Object-Driven Attentive Generative Adversarial Network, Obj-GAN'') позволяет производить объектно-центрированный text-to-image-синтез сложных структурсоздавать изображения по описанию с учётом объектной компоновки. Объектно-управляемый генератор изображений, оперирующий двухэтапным layout-image процессом создаёт изображения на основе двухэтапной генерации, синтезирует выступающие объекты, обращая внимание на . Сначала создаётся макет по наиболее значимые слова значимым словам в текстовом описании , после этого генерируется изображение с полученной компоновкой объектов. А для сопоставления синтезируемых объектов с текстовым описанием и в заранее сгенерированном семантическом макетесгенерированным макетом, предлагается<ref name="Obj-GAN">[https://openaccess.thecvf.com/content_CVPR_2019/papers/Li_Object-Driven_Text-To-Image_Synthesis_via_Adversarial_Training_CVPR_2019_paper.pdf Wendo L. Стоит добавить, что предлагается Pengchuan Z. {{---}} Object-driven Text-to-Image Synthesis via Adversarial Training 2019]</ref> новый объектный дискриминатор, базирующийся основывающийся на Fast R-CNN<ref>[https://arxiv.org/abs/1504.08083 Ross Girshick {{---}} Fast R-CNN, позволяющий производить пообъектные сигналы распознавания касательно того, может ли синтезированный объект быть сопоставлен с тектовым описанием и предварительно сгенерированным макетом2015]</ref>. В результате модификаций Obj-GAN значительно превосходит по производительности предыдущие технологии в различных показателях относительно бенчмарка другие модели на наборе данных [[Известные наборы данных#COCO|COCO (Common Objects in Context)]], увеличивая показатель Inception score<ref name="inception"/> на 11% и ученьшая уменьшая показатель FID (Fréchet inception distance) <ref name="FID">[https://en.wikipedia.org/wiki/Fréchet_inception_distance Fréchet inception distance, FID]</ref> на 27%. <div class="oo-ui-panelLayout-scrollable" style="display: block; vertical-align:middle; height: auto; width: auto;">[[Файл:Obj-GAN.png|thumb|alt=Архитектура Obj-GAN|x300px|thumb|center|Рисунок 23.<ref name="Obj-GAN"/> Архитектура Obj-GAN.]]</div> {| class="wikitable" style="float:right; margin-left: 10px;"|+ '''Inception score в тестовом наборе [[Известные наборы данных#COCO|COCO]]'''|-! Модель !! Inception Score <ref name="inception"/> !! FID <ref name="FID"/>|-| style = "text-align: right" | Obj-GAN (pred box & pred shp) || style = "text-align: center" | <tex>27.32 \pm 0.40</tex> || style = "text-align: center" | <tex>24.70</tex>|-| style = "text-align: right" | Obj-GAN (gt box & pred shp) || style = "text-align: center" | <tex>28.22 \pm 0.35</tex> || style = "text-align: center" | <tex>22.67</tex>|-| style = "text-align: right" | Obj-GAN (gt box & gt shp) || style = "text-align: center" | <tex>31.01 \pm 0.27</tex>|| style = "text-align: center" | <tex>17.03</tex>|}

Основная цель Obj-GAN {{---}} генерация высококачественных сложных качественных изображений с семантически значимым макетом и реалистическими реалистичными объектами. Obj-GAN состоит из пары генератора изображенийс вниманием, управляемый объектами, с вниманием и пообъектовый дискриминатор, а также новый механизм вниманияпообъектного дискриминатора (англ. ''object-wise discriminator''). Как было сказано ранее, генератор Генератор изображений в качестве входных данных принимает текстовое описание и предварительно сгенерированный семантический макет и синтезирует изображения (англ. ''semantic layout''), по которым создаёт изображение с помощью многоэтапного процесса coarse-to-fine, заключающегося в поэтапном улучшении качества результирующего изображения. На каждом этапе генератор синтезирует фрагмент изображений внутри ограничивающей рамки (англ. ''bounding box''), фокусируясь на наиболее релевантных объекту словах.

Говоря более конкретно, он, с использованием управляемого объектами слоя внимания, оперирует метками класса, запрашивая слова в предложениях, чтобы сформировать вектор контекстов, и впоследствии синтезирует фрагмент изображения при условиях метки и вектора контекстов. Пообъектный дискриминатор проверяет каждую ограничивающую рамку, чтобы удостовериться в том, что сгенерированный объект действительно может быть сопоставлен с заранее сгенерированным макетом. Чтобы вычислить все потери при распознавании для всех заданных ограничивающих рамок одновременно и эффективно, дискриминатор базирован быстрой региональной сверточной нейронной сетью представляет из себя быструю [[Сверточные нейронные сети|свёрточную нейронную сеть]] на основе регионов (англ. ''Fast Region-based Convolutional Neural Network, Fast R-CNN'') с двоичной [[Функция потерь и эмпирический риск | функцией потерь]] перекрёстной энтропии для каждой рамки.

Рассмотрим архитектуру Obj-GAN. Первым этапом, генеративная состязательная сеть принимает текстовое предложение и генерирует <b>семантический макет</b> {{---}} последовательность объектов специфицированных соответствующими ограничивающими рамками (наряду с метками классов) и фигурами. <b>Генератор рамок</b> (англ. ''box generator'') и <b>генератор фигур</b> (англ. ''shape generator'') работают соответствующим образом, сначала создавая последовательность ограничивающих рамок, а затем {{---}} фигуру для каждой. Поскольку большинству рамок сопоставлены слова из данного текстового предложения, модель [[Механизм_внимания#.D0.91.D0.B0.D0.B7.D0.BE.D0.B2.D0.B0.D1.8F_.D0.B0.D1.80.D1.85.D0.B8.D1.82.D0.B5.D0.BA.D1.82.D1.83.D1.80.D0.B0_Seq2seq | seq2seq ]] с вниманием охватывает это соответствие. Далее конструируется <tex>G_{shape}</tex>, базированный на двунаправленной сверточной [[Сверточные нейронные сети | свёрточной]] [[Долгая краткосрочная память|долгой краткосрочной памяти ]] (англ. ''bidirectional convolutional long short-term memory, [[Долгая краткосрочная память | LSTM]]''). Обучение <tex>G_{shape}</tex> основывается на фреймворке генеративной состязательной сети, в которой потеря восприятия исплоьзуется используется для ограничения генерируемых фигур и стабилизирования обучения.

<gallery ckassmode="center" modepacked heights="slideshow" 450px caption="Рисунок 24. Сравнение результатов Obj-GAN с другими генеративными состязательными сетями.">Файл:Obj-GAN_ex1.png|Сравнение Obj-GAN<ref name="Obj-GAN"/>Файл:Obj-GAN_ex2.png|

Модели, используемые для генерации создания макетов сцен из текстовых описаний по большей части игнорируют возможные визуальные вариации внутри структуры, описываемой самим текстом. Layout variational autoencoder (LayoutVAE) {{---}} фреймворк, базирующийся на [[Вариационный автокодировщик | вариационном автокодировщике]] для генераций стохастических макетов сцен {{---}} есть разносторонняя программная платформа моделирования, позволяющая генерировать полные макеты изображений с заданным набором меток или макеты меток для существующего изображения с заданной новой меткой. Вдобавок она также способна обнаруживать необычные макеты, потенциально открывающая пути к вычислению проблемы генерации макетов.

Будем рассматривать следующую проблему: генерация '''Макетный вариационный автокодировщик''' (англ. ''Layout variational autoencoder, LayoutVAE'') {{---}} фреймворк, базирующийся на [[Вариационный автокодировщик | вариационном автокодировщике]] для генерации стохастических макетов сцен (англ. ''stochastic scene layouts'') {{---}} это программная платформа моделирования, позволяющая генерировать либо полные макеты изображений с описанием набора меток. Набор заданным набором меток, представленный как более слабое описание, всего лишь предоставляет множество либо макеты меток, присутствующих в данном изображении без дополнительного описания взаимосвязи, заставляя модель изучать пространственные и подсчитываемые отношения на основе визуальных данныхдля существующего изображения с новой заданной меткой.

Касательно описанных проблем предлагаются следующие решения:* модель стохастических генераций макетов Рассмотрим задачу генерации сцен с заданным множеством описанием набора меток, которая будет иметь две компоненты: моделирование распределений подсчитываемых отношений между объектами; моделирование распределений пространственных отношений между объектами;* синтетический . Этот набор данныхвсего лишь предоставляет множество меток, MNIST-макетыприсутствующих в данном изображении (без дополнительного описания взаимосвязи), отражающую стохастическую природу генерации макета сцен;* экстремальная валидация моделей с использованием MNIST-макетов заставляя модель изучать пространственные и наборов подсчитываемые отношения (англ. ''spatial and count relationships'') на основе визуальных данных COCO<ref name="COCO" />, в которой содержатся сложные макеты сцен реального мира.

В статье<ref>[httpsКасательно вышеописанной задачи предлагаются следующие решения://openaccess.thecvf.com/content_ICCV_2019/papers/Jyothi_LayoutVAE_Stochastic_Scene_Layout_Generation_From_a_Label_Set_ICCV_2019_paper.pdf LayoutVAE: Stochastic Scene Layout Generation From a Label Set]</ref> были предложены фреймворки и структуры, модели и фреймворки, взаимодействующие * Модель стохастических генераций макетов сцен с LayoutVEзаданным множеством меток, такие каккоторая будет иметь две компоненты: <b>PNPмоделирование распределений подсчитываемых отношений между объектами; моделирование распределений пространственных отношений между объектами.* Синтетический набор данных, MNIST-Net</b> {{---}} фреймворк вариационного автокодировщика для генерации изображения абстрактной сцены из текстовой программымакеты, полностью описывающей её (помимо того, что это {{---}} стохастическая модель для отражающие стохастическую природу генерации, она была протестирована на синтетических наборах данных макета сцен.* Экспериментальная валидация моделей с малым числом классов); <b>LayoutGAN</b> {{использованием MNIST---}} модель, основанная на макетов и наборов данных [[Generative Adversarial Nets (GAN) Известные наборы данных#COCO| генеративных состязательных сетяхCOCO]], генерирующая в которой содержатся сложные макеты графических элементов (прамоугольники, трегуольники, и так далее); VAE-базированный фреймворк, кодирующий объект и информацию о макете о 3D-сцен в помещении в скрытом коде; и так далее..реального мира.

Обучение генеративных моделей нужно, чтобы предсказать разнообразные, но правдоподобные наборы ограничивающих рамок, учитывая набор меток в качестве входных данных<div class="oo-ui-panelLayout-scrollable" style="display: block; vertical-align:middle; height: auto; width: auto;">[[Файл:LayoutVAE.png|thumb|center|x350px|Рисунок 25.<ref name="LayoutVAE"/> Архитектура LayoutVAE. Рамки в наборе представлены верхними левыми координатами, шириной и высотой ]]</div>В статье<texref name="LayoutVAE">i[https://openaccess.thecvf.com/content_ICCV_2019/papers/Jyothi_LayoutVAE_Stochastic_Scene_Layout_Generation_From_a_Label_Set_ICCV_2019_paper.pdf LayoutVAE: Stochastic Scene Layout Generation From a Label Set]</texref>-й ограничивающей рамки категории были предложены фреймворки и структуры моделей, взаимодействующие с LayoutVE, такие как: <texb>kPNP-Net</texb>. LayoutVAE естественным образом декомпозируется на модель для предсказания количества для каждой заданной метки {{---}} фреймворк вариационного автокодировщика для создания изображения из текстовой программы, которая полностью её описывает (помимо того, что это стохастическая модель для генерации, она была протестирована на синтетических наборах данных с малым числом классов); <b>CountVAELayoutGAN</b> {{---}} модель, основанная на [[Generative Adversarial Nets (GAN) | генеративных состязательных сетях]], создающая макеты графических элементов (прямоугольники, треугольники, и другая для предсказания местоположения так далее); фреймворк, базирующийся на вариационном автокодировщике, который кодирует объект и размера каждого объекта {{информацию о макете 3D---}} <b>BBoxVAE</b>сцен в помещении в скрытом коде; и так далее...

Имея Обучение генеративных моделей необходимо, чтобы предсказать разнообразные, но правдоподобные наборы ограничивающих рамок (англ. ''bounding boxes'') <tex>b_{k, i} = [x_{k, i}, y_{k, i}, w_{k, i}, h_{k, i}]</tex>, учитывая набор меток в качестве входных данных. Рамки в наборе представлены верхними левыми координатами, шириной и высотой <tex>Li</tex> и количество объектов в -й ограничивающей рамки категории <tex>\left\{ n_m : m \in L \right\}k</tex>, BBoxVAE предсказывает распределение координат . LayoutVAE декомпозируется на модель для предсказания количества для ограничивающих рамок авторегрессионно. Мы следуем тому же предопределенному порядку меток, что и в каждой заданной метки {{---}} <b>CountVAE, в пространстве меток, </b> {{---}} и упорядочиваем ограничивающие рамки слева направо модель для каждой метки; предсказания местоположения и размера каждого объекта {{---}} <b>все ограничивающие рамки предсказываются перед переходом к следующей метке.BBoxVAE</b>.

[[ФайлИмея набор меток <tex>L</tex> и количество объектов в категории <tex>\left\{ n_m :LayoutVAEm \in L \right\}</tex>, BBoxVAE предсказывает распределение координат для ограничивающих рамок авторегрессионно. Мы следуем тому же предопределенному порядку меток, что и в CountVAE, в пространстве меток, и упорядочиваем ограничивающие рамки слева направо для каждой метки; <b>сначала все ограничивающие рамки предсказываются для заданной метки, а уже потом происходит переход к следующей метке.png|thumb|center|x500px|Архитектура LayoutVAE]]</b> <div class="oo-ui-panelLayout-scrollable" style="display: block; vertical-align:middle; height: auto; width: auto;">[[Файл:LayoutVAEGeneration.png|thumb|center|x500pxx350px|Рисунок 26.<ref name="LayoutVAE"/> Генерация по множеству меток <tex>\{person, sea, surfboard\}</tex>.]]</div>

Преобразование изображений перекрестным видом (англ. ''cross-view image translation'') проблематично, поскольку оно оперирует изображениями со значительно отличающимися ракурсами и тяжёлыми деформациями. В статье<ref name="MCA-GAN">[https://arxiv.org/pdf/1904.06807.pdf Multi-Channel Attention Selection GAN with Cascaded Semantic Guidancefor Cross-View Image Translation]</ref> о выборочной [[Generative Adversarial Nets (GAN) | генеративной состязательной сети]] с мультиканальным вниманием (англ. ''Multi-Channel Attention Selection GAN, MCA-GAN'') рассматривается подход, позволяющий делать возможным генерацию изображения, максимально приближенной к реальной, с произвольных ракурсах, основывающийся на семантическом отображении (англ. ''semantic mapping''). Работа сети происходит в два этапа:# Изображение и целевое семантическое отображение (англ. ''target semantic map'') подаются на вход циклической семантически-управляемой генеративной сети (англ. ''cycled semantic-guided generation network'') для получения начальных результатов.# Начальные результаты уточняются, используя механизм мультиканального выделения внимания (англ. ''multi-channel attention selection mechanism'').Обширные эксперименты на наборах данных Dayton, CVUSA<ref>[http://mvrl.cs.uky.edu/datasets/cvusa/ Crossview USA (CVUSA)]</ref> и Ego2Top<ref>[https://www.crcv.ucf.edu/projects/ego2top/index.php Ego2Top: Matching Viewers in Egocentric and Top-view Videos (ECCV 2016)]</ref> показывают, что данная модель способна генерировать значительно более качественные результаты, чем другие современные методы. <div class="oo-ui-panelLayout-scrollable" style= LeicaGAN "display: block; vertical-align:middle; height: auto; width: auto;">[[Файл:MCA-GAD.png|thumb|center|x300px|Рисунок 29.<ref name="MCA-GAN"/> Архитектура MCA-GAD.]]</div> На рисунке 29 проиллюстрирована структура сети. Первый этап, как было описано выше, состоит из <b>каскадной семантически-управляемой генерацинной подсети</b>, использующая изображения в одном представлении и условные семантические отображения в другом представлении в качестве входных данных и преобразующая эти изображения в другом представлении. Результирующие изображения далее подаются на вход семантическому генератору для восстановления исходного семантического отображения, формируя цикл генерации. Второй этап заключается в том, что грубый синтез (англ. ''coarse synthesis'') и отображения глубоких характеристик объединяются и подаются на вход в <b>модуль мультиканального выделения внимания</b>, направленный на получение более детализированного синтеза (англ. ''fine-grained synthesis'') из большего пространства генерации и создание отображений неопределенности (англ. ''uncertainty maps'') для управления множественными потерями оптимизации (англ. ''optimization losses''). Модуль мультиканального выделения внимания в свою очередь состоит из многомасштабного пространственного пулинга (англ. ''multiscale spatial pooling'') и компоненты мультиканального выделения внимания (англ. ''multichannel attention selection component'').  Поскольку между изначальным ракурсом и результирующим существует объемная деформация объекта и/или сцены, одномасштабная характеристика (англ. ''single-scale feature'') вряд ли сможет захватить всю необходимую информацию о пространстве для детализированной генерации. Многомасштабный пространственный пулинг оперирует же другими значениями размера ядра и шага для выполнения глобального среднего пулинга (англ. ''global average pooling'') на одних и тех же входных характеристиках, тем самым получая многомасштабные характеристики с отличающимися рецептивными полями (англ. ''receptive fields'') для восприятия различных пространственных контекстов. Механизм мультиканального внимания позволяет осуществлять выполнение пространственного и временного отбора (англ. ''spatial and temporal selection''), чтобы синтезировать конечный детализированный результат. <div class="oo-ui-panelLayout-scrollable" style="display: block; vertical-align:middle; height: auto; width: auto;">[[Файл:MCA-GAN_Module.png|thumb|center|x400px|Рисунок 30.<ref name="MCA-GAN"/> Архитектура модуля мультиканального выделения внимания (англ. ''multi-channel attention selection module'').]]</div> <div class="oo-ui-panelLayout-scrollable" style="display: block; vertical-align:middle; height: auto; width: auto;">[[Файл:MCA-GAN_CrossviewImageTranslation.png|thumb|center|x500px|Рисунок 31.<ref name="MCA-GAN"/> Преобразование изображения перекрестным видом.]]</div> 

*Создание контента и данных :**Картинки картинки для интернет-магазина;**Аватары аватары для игр;**Видеоклипывидеоклипы, сгенерированные автоматически, исходя из музыкального бита произведения;**Виртуальные виртуальные ведущие<ref>[https://dictor.mail.ru/ Виртуальный диктор]</ref>.*Благодаря работе Обучение систем на основе синтеза данных, возникающего в результате работы генеративных моделей возникает синтез данных, на которых потом могут обучаться другие системы:**Генерации генерация реалистичного видео городской среды<ref>[https://news.developer.nvidia.com/nvidia-invents-ai-interactive-graphics/ NVIDIA Interactive Graphics]</ref>.

*[https://arxiv.org/abs/1909.07083 Bowen L., Xiaojuan Q. {{---}} MCA-GANControlGAN: Controllable Text-to-Image Generation Adversarial NetworkBased on , 2019]*[https://arxiv.org/abs/1909.07083 Has T., Dan X. {{---}} MCA-GAN: Multi-Channel AttentionSelection GAN with Cascaded Semantic Guidance for Cross-View Image Translation, 2019]