162
правки
Изменения
Нет описания правки
'''Механизм внимания в рекуррентных нейронных сетях''' (англ. ''attention mechanism'', ''attention model'') {{---}} дополнительный слой используемый в [[:Рекуррентные_нейронные_сети|рекуррентных нейронных сетях (сокращенно ''RNN'')]] для "обращения внимания" последующих слоев сети на скрытое состояние нейронной сети <math>h_t</math> в момент времени <math>t</math>.
Изначально механизм внимания был представлен в [https://arxiv.org/abs/1409.0473| статье описывыющей данную технику] и ее [[:Механизм_внимания#Пример использования для архитектуры Seq2Seq|применение именно в ''Seq2Seq'' сетях]], и лишь позже был использован в [https://arxiv.org/abs/1502.03044| статье применительно к генерации описания изображений].
