Изменения

Перейти к: навигация, поиск

Генерация изображения по тексту

70 байт добавлено, 16:58, 21 января 2021
м
Обзор генеративных моделей
|+ '''Сравнение моделей'''
|-
! rowspan=2 | Модель !! colspan=2|Inception Score <ref name="inception"/>!! rowspan=2 | FID <ref name="FID"/> !! rowspan=2 | Разрешение генерируемой картинки !! rowspan=2 | Реализация !!rowspan=2 | Модификация (отличие от GAN)!!rowspan=2 | Пример сгенерированной картинки
|-
| style = "text-align: center" | [[Известные наборы данных#COCO|COCO]]
| style = "text-align: center" | {{---}}
| style = "text-align: center" | <tex>256 \times 256</tex>
| style = "text-align: center" | [https://github.com/xcyan/eccv16_attr2img github/xcyanда]
| Генерация изображения как смесь переднего и заднего планов на основе многоуровневой генеративной модели.
|
|-
| style = "text-align: right" | [[#GAN-INT-CLS|GAN-INT-CLS]]
| style = "text-align: center" | <tex>60.62</tex>
| style = "text-align: center" | <tex>256 \times 256</tex>
| style = "text-align: center" | [https://github.com/soumith/dcgan.torch github/soumithда]
| Обучение на текстовых признаках, кодируемых гибридной сверточно-рекуррентной нейронной сетью.
|
|-
| style = "text-align: right" | [[#StackGAN|StackGAN]]
| style = "text-align: center" | <tex>74.05</tex>
| style = "text-align: center" | <tex>256 \times 256</tex>
| style = "text-align: center" | [https://github.com/hanzhanggit/StackGAN github/hanzhanggitда]
| Генерация изображения происходит в два этапа, на первом этапе создается примитивная форма изображения и задаются цвета объектов, на втором исправляются дефекты предыдущего этапа и добавляются более мелкие детали.
|
|-
| style = "text-align: right" | [[#FusedGAN|FusedGAN]]
| style = "text-align: center" | {{---}}
| style = "text-align: center" | <tex>256 \times 256</tex>
| style = "text-align: center" | {{---}}нет
| Генерация изображения в два этапа, на первом задаются признаки стиля, на втором генерируется изображение.
|
|-
| style = "text-align: right" | [[#ChatPainter|ChatPainter]]
| style = "text-align: center" | {{---}}
| style = "text-align: center" | <tex>256 \times 256</tex>
| style = "text-align: center" | {{---}}нет
| В качестве дополнительных данных для обучения используется диалог описания изображения.
|
|-
| style = "text-align: right" | [[#StackGAN++|StackGAN++]]
| style = "text-align: center" | <tex>81.59</tex>
| style = "text-align: center" | <tex>256 \times 256</tex>
| style = "text-align: center" | [https://github.com/hanzhanggit/StackGAN-v2 github/hanzhanggitда]
| Генерация изображений разного масштаба из разных ветвей древовидной структуры, в которой несколько генераторов разделяют между собой большинство своих параметров.
|
|-
| style = "text-align: right" | [[#HTIS|HTIS]]
| style = "text-align: center" | {{---}}
| style = "text-align: center" | <tex>256 \times 256</tex>
| style = "text-align: center" | {{---}}нет
| Генерация изображения разбивается на несколько шагов, сначала создается семантический макет из текста, затем этот макет преобразовывается в изображение.
|
|-
| style = "text-align: right" | [[#AttnGAN | AttnGAN]]
| style = "text-align: center" | <tex>28.76</tex>
| style = "text-align: center" | <tex>256 \times 256</tex>
| style = "text-align: center" | [https://github.com/taoxugit/AttnGAN github/taoxugitда]
| Выделение слов для генерации областей картинки с помощью механизма внимания.
|
|-
| style = "text-align: right" | [[#CVAE&GAN|CVAE&GAN]]
| style = "text-align: center" | {{---}}
| style = "text-align: center" | <tex>256 \times 256</tex>
| style = "text-align: center" | {{---}}нет
| Разделение переднего и заднего плана, сначала CVAE генерирует картинку в плохом качестве, после качество повышается с помощью GAN.
|
|-
| style = "text-align: right" | [[#MMVR|MMVR]]
| style = "text-align: center" | {{---}}
| style = "text-align: center" | <tex>256 \times 256</tex>
| style = "text-align: center" | {{---}}нет
| Обучение на изменённом описании картинки.
|
|-
| style = "text-align: right" | [[#MirrorGAN|MirrorGAN]]
| style = "text-align: center" | {{---}}
| style = "text-align: center" | <tex>256 \times 256</tex>
| style = "text-align: center" | [https://github.com/qiaott/MirrorGAN github/qiaottда]
| Генерация изображения с использованием идеи обучения посредством переописания.
|
|-
| style = "text-align: right" | [[#TextKD-GAN|TextKD-GAN]]
| style = "text-align: center" | {{---}}
| style = "text-align: center" | text
| style = "text-align: center" | ???[https://github.com/zubairbaqai/TextKD-GAN да]
| Генерация текста с использованием дистилляции знаний (перенос знаний, усвоенных большой моделью (учителем), на меньшую модель (ученика)).
|
|-
| style = "text-align: right" | [[#Obj-GAN|Obj-GAN]]
| style = "text-align: center" | <tex>17.03</tex>
| style = "text-align: center" | <tex>256 \times 256</tex>
| style = "text-align: center" | [https://github.com/jamesli1618/Obj-GAN github/jamesli1618да]
| Основной принцип генерации изображений заключается в распознавании и создании отдельных объектов из заданного текстового описания.
|
|-
| style = "text-align: right" | [[#LayoutVAE|LayoutVAE]]
| style = "text-align: center" | {{---}}
| style = "text-align: center" | <tex>256 \times 256</tex>
| style = "text-align: center" | ???нет
| Генерация стохастических макетов сцен (англ. ''stochastic scene layouts'') из заданного набора слов.
|
|-
| style = "text-align: right" | [[#MCA-GAN|MCA-GAN]]
| style = "text-align: center" | {{---}}
| style = "text-align: center" | <tex>256 \times 256</tex>
| style = "text-align: center" | ???нет
| Генерацию изображения с произвольных перспективах, основывающаяся на семантическом отображении (англ. ''semantic mapping'').
|
|}
89
правок

Навигация