23
правки
Изменения
Нет описания правки
Устройство трансформера состоит из кодирующего и декодирующего компонентов. На вход принимается некая последовательность, создается ее [[:Векторное_представление_слов|векторное представление]] (англ. ''embedding''), прибавляется вектор позиционного кодирования, после чего набор элементов без учета порядка в последовательности поступает в кодирующий компонент (параллельная обработка), а затем декодирующий компонент получает на вход часть этой последовательности и выход кодирующего. В результате получается новая выходная последовательность.
В основе лежит архитектура похожая на базовую архитектуру [[Механизм внимания#Базовая архитектура Seq2seq|Seq2seq]]: кодирующий компонент {{---}} это последовательные блоки кодировщиков (англ. ''encoders''), а декодирующий компонент {{---}} это последовательные блоки декодировщиков (англ. ''decoders''). Каждый кодировщики Кодировщики последовательно передает результат своей работы следующему кодировщику на вход. Декодировщики передают друг другу на вход результат работы вместе с результатом кодирующего компонента.
Ниже рассмотрим архитектуру кодировщика и декодировщика подробнее.
