Изменения

'''Self-Attention''' {{---}} разновидность внимания, задачей которой является выявление закономерности только между входными данными. Был представлен как один из способов повышения производительности в задачах [[:Обработка_естественного_языка|обработки естественного языка]], где ранее использовались [[:Рекуррентные_нейронные_сети|RNN]] в виде архитектуры трансформеров<ref>https://papers.nips.cc/paper/7181-attention-is-all-you-need.pdf</ref>.

Также ''Self-Attention'' успешно применяется применяется Данная методика показала себя настолько эффективной в задаче машинного перевода, что позволила отказаться от использования [[:Generative_Adversarial_Nets_(GAN)Рекуррентные_нейронные_сети|GANRNN]] сетях и заменить их на обычные нейронные сети в комбинации с механизмом ''Self-attention'' в алгоритме SAGANархитектуре трансформер<ref>https://arxivpapers.nips.orgcc/abspaper/18057181-attention-is-all-you-need.08318pdf</ref>.  Это позволило ускорить работу алгоритма, поскольку ранее предложение обрабатывалось последовательно при помощи [[:Рекуррентные_нейронные_сети|RNN]]. При использовании трансформера каждое слово в предложении обрабатывается может обрабатываться параллельно.

 Из визуализации вектора можно заметить, что механизм ''Self-attention'' обнаружил взаимосвязь между словами '''it''' и '''animal'''. Этот результат можно интуитивно объяснить с человеческой точки зрения, что и позволяет алгоритмам машинного обучения, использующих использующим данный подход, лучше решать задачу принимая во внимание контекстные взаимосвязи. Также ''Self-Attention'' успешно применяется применяется в [[:Generative_Adversarial_Nets_(GAN)|GAN]] сетях, частности в алгоритме SAGAN<ref>https://arxiv.org/abs/1805.08318</ref>.