135
правок
Изменения
Нет описания правки
Поэтому вместо того, чтобы изучать прямое отображение текста в изображение, был предложен альтернативный подход, который строит семантический макет как промежуточное представление между текстом и изображением. Семантический макет определяет структуру сцены на основе экземпляров объектов и предоставляет детальную информацию о сцене, такую как количество объектов, категорию объекта, расположение, размер, форму.
<div class="oo-ui-panelLayout-scrollable" style="display: block; vertical-align:middle; height: auto; width: auto;">[[Файл:StackGAN++Semantic-1.png|thumb|alt=Архитектура StackGAN++|x350px|center|Архитектура StackGAN++]]</div>
* '''Box Generator''' принимает в качестве входных данных вложения текста и генерирует грубую компоновку, составляя экземпляры объектов в изображении. Выходные данные генератора прямоугольников представляют собой набор ограничивающих прямоугольников <tex>B_1: T = {B_1, ..., B_T}</tex>, где каждый ограничивающий прямоугольник <texttex>B_t</tex> определяет местоположение, размер и метку категории <tex>t</tex>-го объекта.
Генератор форм берет набор ограничивающих рамок, созданных из генератора прямоугольников, и предсказывает формы объекта внутри прямоугольников. Результатом генератора формы является набор двоичных масок M1: T = {M1, ..., MT}, где каждая маска Mt определяет форму переднего плана t-го объекта.
Генератор изображений принимает карту семантической метки, полученную путем агрегирования масок по экземплярам, и встраивание текста в качестве входных данных, и генерирует изображение, переводя семантический макет в пиксели, соответствующие текстовому описанию.
