Изменения

Изначально механизм внимания был представлен в статье [https://arxiv.org/abs/1409.0473|Neural Machine Translation by Jointly Learning to Align and Translate] и предполагал применение именно в ''Seq2Seq '' сетях, и лишь позже был использован применительно к изображениям [https://arxiv.org/abs/1502.03044|Show, Attend and Tell: Neural Image Caption Generation with Visual Attention].

[[:Рекуррентные_нейронные_сети|Рекуррентные нейронные сети]] используются при обработке данных, для которых важна их последовательность. В классическом случае применения [[:Рекуррентные_нейронные_сети|РНН]] как результат используется результатом является только последнее скрытое состояние <math>h_m</math>, где <math>m</math> - длинна длина последовательности входных данных. Использование механизма внимания позволяет использовать информацию полученную не только из последнего скрытого состояниния, но и из любого скрытого расстояния состояния <math>h_t</math> для любого <math>t</math>.

Обычно слой использующийся для механизма внимания представляет собой обычную, чаще всего однослойную , нейронную сеть на вход которой подаются <math>h_t, t = 1 \ \ldots m</math>, а также вектор <math>d</math> в котором содержится некий контекст зависящий от конкретно задачи (пример <math>d</math> для задачи машинного перевода использующего ''Seq2Seq'' арихитектуру есть ниже).

Выходом данного слоя будет являтся вектор <math>s</math> (англ. ''score'') - оценки на основании которых на скрытое состояние <math>h_i</math> будет "обращено внимание".

Далее считается <math>СV</math> (англ. ''context vector'') <math>СV = \sum_1^m e_i h_isoftmax</math>здесь используется благодоря своим свойствам:

Резултатом работы слоя внимания является *<math>CV\forall s:\ \sum_{i=1}^n softmax(s)_i = 1, </math> который содержит в себе информацию обо всех скрытых состоянях *<math>h_i</math> пропорционально оценке <math\forall s,\ i: \ softmax(s)_i >e_i= 0 </math>.

== Пример использования для архитектуры Seq2Seq ==Из-за интуитивной понятности механизма внимания для проблемы машинного перевода, а также поскольку в оригинальной статье рассматривается механизм внимания применительно именно к Seq2Seq сетям. Пример добавления механизма внимания в Seq2Seq сеть поможет лучше понять его предназначениеДалее считается <math>СV</math> (англ.''context vector'')

<math>СV = \sum_{i=1}^m e_i h_i</math> Результатом работы слоя внимания является <math>CV</math> который, содержит в себе информацию обо всех скрытых состоянях <math>h_i</math> пропорционально оценке <math>e_i</math>. == Пример использования для архитектуры ''Seq2Seq'' ==Из-за интуитивной понятности механизма внимания для проблемы машинного перевода, а также поскольку в оригинальной статье рассматривается механизм внимания применительно именно к ''Seq2Seq'' сетям. Пример добавления механизма внимания в ''Seq2Seq'' сеть поможет лучше понять его предназначение. Несмотря на то, что нейронные сети рассматриваются как "черный ящик" и интерпретировать их внутренности в понятных человеку терминах часто невозможно, все же механизм внимания интуитивно понятный людям смог улучшить результаты машинного перевода для алгоритма используемого в статье. === Базовая архитектура ''Seq2Seq '' ===[[File:Seq2SeqBasic.png|450px|thumb|Пример работы базовой ''Seq2Seq'' сети]]

''Decoder'' {{---}} выдает слово на языке ''B'', принимает последнее скрытое состояние из энкодера и предыдущее предыдущее предсказаное слово.  Рассмотрим пример работы ''Seq2Seq'' сети: <math>x_i</math> {{---}} слова в предложении на языке ''A''.

[[File:Seq2SeqBasic''Блоки энкодера (зеленый)'' {{---}} блоки энкодера получающие на вход <math>x_i</math> и передающие скрытое состояние <math>h_i</math> на следующую итерацию.png|350px|thumb|left|Пример работы базовой Seq2Seq сети]]Рассмотрим пример работы Seq2Seq сети:

''Encoder'' <math>d_i</math> {{---}} зеленые блокискрытое состояние декодера.

''Decoder'' <math>y_i</math> {{---}} фиолетовые блокислова в предложении на языке ''B''.

''Блоки декодера (фиолетовый)'' {{---}} блоки декодера получающие на вход <math>x_iy_{i-1}</math> или специальный токен '''start''' в случае первой итерации и возвращаюшие <math>y_i</math> {{---}} слова в предложении на языке ''AB''. Передают <math>d_i</math> {{---}} скрытое состояние декодера на следующую итерацию. Перевод считается завершенным при <math>y_i</math>, равном специальному токену '''end''' .

Здесь <math>x_i, h_i, d_i, y_i</math> {{---}} слова имееют те же назначения, что и в предложении на языке ''B''варианте без механизма внимания.

Нужно также заметить, что ''Аггрегатор скрытых состояний энкодера (желтый)'' {{---}} аггрегирует в себе все вектора <math>h_i</math> и возвращает всю последовательность векторов <math>h = [h_1, h_2, h_3, h_4]</math> в данном примере подается не на вход декодеру, а является его изначальным скрытым состоянием.

Из<math>СV_i</math> {{-за того, что при обраоботке первого слова еше нет предыдущено --}} вектор контекста на вход декодеру необходимо подавать специальный вектор, означаюший начало предложенияитерации <math>i</math>.

=== Применение Таким образом при помощи механизма внимания для Seq2Seq ===При добавлении механизма в данную архитектуру между [[:Рекуррентные_нейронные_сети|РНН]] достигается "фокусирование" декодера на определенных скрытых состояниях. В случаях машинного перевода эта возможность помогает декодеру предсказывать на какие скрытые сосояния при исходных определенных словах на языке ''EncoderA'' и необходимо обратить больше внимания при переводе данного слова на язык ''DecoderB'' слоя механизма внимания получтится следуюшая схема:.