162
правки
Изменения
Нет описания правки
Данный пример рассматривает применение механизма внимания в задаче машинного перевода в применении к архитектуре ''Seq2Seq''.
''Seq2Seq'' состоит из двух [[:Рекуррентные_нейронные_сети|RNN]] {{---}} ''EncoderЭнкодера'' и ''DecoderДекодера''.
''EncoderЭнкодер'' {{---}} принимает предложение на языке ''A'' и сжимает его в вектор скрытого состояния.
''DecoderДекодер'' {{---}} выдает слово на языке ''B'', принимает последнее скрытое состояние энкодера и предыдущее предыдущее предсказаное слово.
=== Применение механизма внимания для ''Seq2Seq'' ===
При добавлении механизма в данную архитектуру между [[:Рекуррентные_нейронные_сети|RNN]] ''EncoderЭнкодер'' и ''DecoderДекодер'' слоя механизма внимания получится следуюшая схема:
[[File:Seq2SeqAttention.png|450px|thumb|Пример работы ''Seq2Seq'' сети с механизмом внимания]]
*[[:Рекуррентные_нейронные_сети|Рекуррентные нейронные сети]]
==Источникиинформации==
*[https://www.coursera.org/lecture/nlp-sequence-models/attention-model-lSwVa Лекция Andrew Ng о механизме внимания в NLP]
*[https://towardsdatascience.com/intuitive-understanding-of-attention-mechanism-in-deep-learning-6c9482aecf4f Статья с подробно разборанными примерами и кодом на ''Python'' и ''TensorFlow'']
