162
правки
Изменения
Нет описания правки
==Обобщенный механизм внимания==
'''Обобщенный механизм внимания''' (англ. general attention) {{---}} разновидность механизма внимания, задачей которой является выявление закономерности между входными и выходными данными. Изначально механизм внимания представленный в оригинальной статье<ref>https://arxiv.org/abs/1409.0473</ref> подразумевал именно этот тип внимания.
===Пример использования обобщенного механизма внимания для задачи машинного перевода===
==Self-Attention==
[[File:TransformerSelfAttentionVisualization.png|250px|thumb|Пример работы ''Self-Attention'']]
'''Self-Attention''' {{---}} разновидность механизма внимания, задачей которой является выявление закономерности только между входными данными.
Данная методика показала себя настолько эффективной в задаче машинного перевода, что позволила отказаться от использования [[:Рекуррентные_нейронные_сети|RNN]] и заменить их на обычные нейронные сети в комбинации с механизмом ''Self-attention'' в архитектуре трансформер<ref>https://papers.nips.cc/paper/7181-attention-is-all-you-need.pdf</ref>.
