Изменения

{{В разработке}}Автоматическое создание реалистичных высококачественных изображений из текстовых описаний был было бы интересен интересно и довольно полезенполезно, так как имеет множество практических применений, но современные системы искусственного интеллекта все еще далеки от этой цели, так как это является довольно сложной задачей в области компьютерного зрения. Однако в последние годы были разработаны универсальные и мощные рекуррентные архитектуры нейронных сетей для изучения различных представлений текстовых признаков. Между тем, глубокие сверточные [[Generative Adversarial Nets (GAN)| генеративные состязательные сети]] (англ. ''Generative Adversarial Nets, GANs'') начали генерировать весьма убедительные изображения определенных категорий, таких как лица, обложки альбомов и интерьеры комнат. Образцы, генерируемые существующими подходами "текст-изображение", могут приблизительно отражать смысл данных описаний, но они не содержат необходимых деталей и ярких частей объекта. В данной статье рассмотрены формулировка и глубокая архитектура GAN, а также объединены достижения в генерации изображений по тексту.

| style = "text-align: center" | [[#Attribute2Image|Attribute2Image, 2015]]

| style = "text-align: center" | [[#GAN-INT-CLS|GAN-INT-CLS, 2016]]

| style = "text-align: center" | [[#StackGAN|StackGAN, 2017]]

| style = "text-align: center" | [[#FusedGAN|FusedGAN, 2018]]

| style = "text-align: center" | <tex>256 64 \times 25664</tex>

| style = "text-align: center" | [[#ChatPainter|ChatPainter, 2018]]

| style = "text-align: center" | [[#StackGAN++|StackGAN++, 2018]]

| style = "text-align: center" | [[#HTIS|HTIS, 2018]]

| style = "text-align: center" | [[#AttnGAN | AttnGAN, 2018]]

| style = "text-align: center" | [[#CVAE&GAN|CVAE&GAN, 2018]]

| style = "text-align: center" | [[#MMVR|MMVR, 2018]]

| style = "text-align: center" | [[#MirrorGAN|MirrorGAN, 2019]]

| style = "text-align: center" | [[#Obj-GAN|Obj-GAN, 2019]]

| style = "text-align: center" | [[#LayoutVAE|LayoutVAE, 2019]]

| style = "text-align: center" | [[#MCA-GAN|MCA-GAN, 2019]]

<gallery mode="slideshow" packed heights=400px caption="Рисунок 2. Пример результата работы GAN-CLS, GAN-INT и GAN-INT-CLS.">

<gallery mode="slideshow" packed heights=350px caption="Рисунок 6. Пример результата работы StackGAN.">

Несмотря на успех, GAN, как известно, сложно обучить. Тренировочный процесс обычно нестабилен и чувствителен к выбору [[Настройка гиперпараметров | гиперпараметров]]. При обучении GAN генерировать изображения с высоким разрешением (например, 256x256), вероятность того, что распределение изображений и распределение моделей будет совместно использовать один и тот же носитель в многомерном пространстве, очень мала. Более того, обычным явлением сбоя при обучении GAN является '''коллапс режима''' [[Generative_Adversarial_Nets_(GAN)#Mode_Collapse|схлопывание мод распределения]] (англ. ''mode collapse''), когда многие из сгенерированных выборок содержат одинаковый цвет или узор текстуры.

[[Вариационный автокодировщик| VAE]] имеет более стабильный выход чем GAN без [[Generative Adversarial Nets Generative_Adversarial_Nets_(GAN)#Улучшение обучения GANMode_Collapse|схлопывания мод распределения]] (англ. ''mode collapse''), это можно использовать для достоверной подборки распределения и выявления разнообразия исходного изображения. Однако он не подходит для генерации изображений высокого качества, т. к. генерируемые VAE изображения легко размываются. Чтобы исправить данный недостаток архитектура включает два компонента (рис. 13):

| style = "text-align: right" | [[#GAN-INT-CLS|GAN-INT-CLS]] GAN-INT-CLS || style = "text-align: center" | <tex>2.88 \pm 0.04</tex> || style = "text-align: center" | <tex>7.88 \pm 0.07</tex>

'''Макетный вариационный автокодировщик''' (англ. ''Layout variational autoencoder (, LayoutVAE)'') {{---}} фреймворк, базирующийся на [[Вариационный автокодировщик | вариационном автокодировщике]] для генерации стохастических макетов сцен (англ. ''stochastic scene layouts'') {{---}} это программная платформа моделирования, позволяющая генерировать либо полные макеты изображений с заданным набором меток, либо макеты меток для существующего изображения с новой заданной меткой.

# Изображение и целевое семантическое отображение (англ. ''target semantic map'') подаются на вход циклической семантически-управляемой генерационной генеративной сети (англ. ''cycled semantic-guided generation network'') для получения начальных результатов.