162
правки
Изменения
Нет описания правки
=== Базовая архитектура Seq2Seq ===
Данный пример рассматривает применение механизма внимания в задаче машинного перевода в применении к архитектуре ''Seq2Seq''.
[[File:Seq2SeqBasic.png|350px|thumb|left|Пример работы базовой Seq2Seq сети]]
Рассмотрим пример работы Seq2Seq сети:
''Encoder'' {{---}} зеленые блоки
''Decoder'' {{---}} фиолетовые блоки
<math>x_i</math> {{---}} слова в предложении на языке ''A''
<math>y_i</math> {{---}} слова в предложении на языке ''B''
Нужно также заметить, что <math>h_4</math> в данном примере подается не на вход декодеру, а является его изначальным скрытым состоянием.
Из-за того, что при обраоботке первого слова еше нет предыдущено на вход декодеру необходимо подавать специальный вектор, означаюший начало предложения.
