Трансформер - История изменений

Maintenance script: rollbackEdits.php mass rollback

2022-09-04T16:11:20Z

rollbackEdits.php mass rollback

185.220.100.252 в 06:07, 1 сентября 2022

2022-09-01T06:07:39Z

Nilaev в 14:03, 15 июня 2022

2022-06-15T14:03:04Z

Nilaev: /* Позиционное кодирование */

2022-06-14T21:12:38Z

‎Позиционное кодирование

Nilaev: /* Позиционное кодирование */

2022-06-14T21:06:52Z

‎Позиционное кодирование

Nilaev в 20:55, 14 июня 2022

2022-06-14T20:55:40Z

Nilaev: /* Позиционное кодирование */

2022-06-14T20:11:10Z

‎Позиционное кодирование

Nilaev в 19:50, 14 июня 2022

2022-06-14T19:50:23Z

Nilaev: /* Архитектура трансформера */

2022-06-14T19:41:01Z

‎Архитектура трансформера

Nilaev: /* Позиционное кодирование */

2022-06-14T19:34:25Z

‎Позиционное кодирование

← Предыдущая		Версия 16:11, 4 сентября 2022
Строка 1:		Строка 1:
−	~~{\| class="wikitable" align="center" style="color: red; background-color: black; font-size: 56px; width: 800px;"~~	+	'''Трансформер''' (англ. ''transformer'') {{---}} архитектура глубоких нейронных сетей, основанная на [[:Механизм_внимания\|механизме внимания]] без использования [[:Рекуррентные_нейронные_сети\|рекуррентных нейронных сетей]] (сокр. ''RNN''). Самое большое преимущество трансформеров по сравнению с RNN заключается в их высокой эффективности в условиях параллелизации. Впервые модель трансформера была предложена в статье Attention is All You Need<ref>https://arxiv.org/abs/1706.03762</ref> от разработчиков Google в 2017 году.
−	\|+
−	~~\|-align="center"~~
−	~~\|'''НЕТ ВОЙНЕ'''~~
−	~~\|-style="font-size: 16px;"~~
−	\|
−	24 февраля 2022 года российское руководство во главе с Владимиром Путиным развязало агрессивную войну против Украины. В глазах всего мира это военное преступление совершено от лица всей страны, всех россиян.
−
−	Будучи гражданами Российской Федерации, мы против своей воли оказались ответственными за нарушение международного права, военное вторжение и массовую гибель людей. Чудовищность совершенного преступления не оставляет возможности промолчать или ограничиться пассивным несогласием.
−
−	Мы убеждены в абсолютной ценности человеческой жизни, в незыблемости прав и свобод личности. Режим Путина — угроза этим ценностям. Наша задача — обьединить все силы для сопротивления ей.
−
−	Эту войну начали не россияне, а обезумевший диктатор. И наш гражданский долг — сделать всё, чтобы её остановить.
−
−	~~''Антивоенный комитет России''~~
−	~~\|-style="font-size: 16px;"~~
−	\|Распространяйте правду о текущих событиях, оберегайте от пропаганды своих друзей и близких. Изменение общественного восприятия войны - ключ к её завершению.
−	~~\|-style="font-size: 16px;"~~
−	\|[https://meduza.io/ meduza.io], [https://www.youtube.com/c/popularpolitics/videos Популярная политика], [https://novayagazeta.ru/ Новая газета], [https://zona.media/ zona.media], [https://www.youtube.com/c/MackNack/videos Майкл Наки].
−	\|}
−
−	'''Трансформер''' (англ. ''transformer'') {{---}} ~~архитектура глубоких~~ нейронных сетей, основанная на [[:Механизм_внимания\|механизме внимания]] без использования [[:Рекуррентные_нейронные_сети\|рекуррентных нейронных сетей]] (сокр. ''RNN''). Самое большое преимущество трансформеров по сравнению с RNN заключается в их высокой эффективности в условиях параллелизации. Впервые модель трансформера была предложена в статье Attention is All You Need<ref>https://arxiv.org/abs/1706.03762</ref> от разработчиков Google в 2017 году.

	==Архитектура трансформера==		==Архитектура трансформера==

← Предыдущая		Версия 06:07, 1 сентября 2022
Строка 1:		Строка 1:
−	'''Трансформер''' (англ. ''transformer'') {{---}} ~~архитектура глубоких~~ нейронных сетей, основанная на [[:Механизм_внимания\|механизме внимания]] без использования [[:Рекуррентные_нейронные_сети\|рекуррентных нейронных сетей]] (сокр. ''RNN''). Самое большое преимущество трансформеров по сравнению с RNN заключается в их высокой эффективности в условиях параллелизации. Впервые модель трансформера была предложена в статье Attention is All You Need<ref>https://arxiv.org/abs/1706.03762</ref> от разработчиков Google в 2017 году.	+	{\| class="wikitable" align="center" style="color: red; background-color: black; font-size: 56px; width: 800px;"
		+	\|+
		+	\|-align="center"
		+	\|'''НЕТ ВОЙНЕ'''
		+	\|-style="font-size: 16px;"
		+	\|
		+	24 февраля 2022 года российское руководство во главе с Владимиром Путиным развязало агрессивную войну против Украины. В глазах всего мира это военное преступление совершено от лица всей страны, всех россиян.
		+
		+	Будучи гражданами Российской Федерации, мы против своей воли оказались ответственными за нарушение международного права, военное вторжение и массовую гибель людей. Чудовищность совершенного преступления не оставляет возможности промолчать или ограничиться пассивным несогласием.
		+
		+	Мы убеждены в абсолютной ценности человеческой жизни, в незыблемости прав и свобод личности. Режим Путина — угроза этим ценностям. Наша задача — обьединить все силы для сопротивления ей.
		+
		+	Эту войну начали не россияне, а обезумевший диктатор. И наш гражданский долг — сделать всё, чтобы её остановить.
		+
		+	''Антивоенный комитет России''
		+	\|-style="font-size: 16px;"
		+	\|Распространяйте правду о текущих событиях, оберегайте от пропаганды своих друзей и близких. Изменение общественного восприятия войны - ключ к её завершению.
		+	\|-style="font-size: 16px;"
		+	\|[https://meduza.io/ meduza.io], [https://www.youtube.com/c/popularpolitics/videos Популярная политика], [https://novayagazeta.ru/ Новая газета], [https://zona.media/ zona.media], [https://www.youtube.com/c/MackNack/videos Майкл Наки].
		+	\|}
		+
		+	'''Трансформер''' (англ. ''transformer'') {{---}} архитектура глубоких нейронных сетей, основанная на [[:Механизм_внимания\|механизме внимания]] без использования [[:Рекуррентные_нейронные_сети\|рекуррентных нейронных сетей]] (сокр. ''RNN''). Самое большое преимущество трансформеров по сравнению с RNN заключается в их высокой эффективности в условиях параллелизации. Впервые модель трансформера была предложена в статье Attention is All You Need<ref>https://arxiv.org/abs/1706.03762</ref> от разработчиков Google в 2017 году.

	==Архитектура трансформера==		==Архитектура трансформера==

@@ Строка 2: / Строка 2: @@
 ==Архитектура трансформера==
-[[Файл:TransformerSimpleArchitecture.png|350px|thumb|right|Архитектура трансформера<ref>https://jalammar.github.io/illustrated-transformer/</ref>]]
+[[Файл:TransformerSimpleArchitecture.png|400px|thumb|right|Архитектура трансформера<ref>https://jalammar.github.io/illustrated-transformer/</ref>]]
 Устройство трансформера состоит из кодирующего и декодирующего компонентов. На вход принимается некая последовательность, создается ее [[:Векторное_представление_слов|векторное представление]] (англ. ''embedding''), прибавляется вектор позиционного кодирования, после чего набор элементов без учета порядка в последовательности поступает в кодирующий компонент (параллельная обработка), а затем декодирующий компонент получает на вход часть этой последовательности и выход кодирующего. В результате получается новая выходная последовательность.
-В основе лежит архитектура похожая на базовую архитектуру [[Механизм внимания#Базовая архитектура Seq2seq|Seq2seq]]: кодирующий компонент {{---}} это последовательные блоки кодировщиков (англ. ''encoders''), а декодирующий компонент {{---}} это последовательные блоки декодировщиков (англ. ''decoders''). Кодировщики последовательно передает результат своей работы следующему кодировщику на вход. Декодировщики передают друг другу на вход результат работы вместе с результатом кодирующего компонента.
+Внутри кодирующего и декодирующего компонента нет рекуррентности. Кодирующий компонент состоит из кодировщиков, которые повторяются несколько раз, аналогично устроен декодирующий компонент. Трансформер {{---}} это поставленные друг за другом модели внимания, которые позволяют исходную последовательность векторов перевести в новую последовательность векторов, которые кодируют информацию о контексте каждого элемента. Трансформер-кодировщик переводит исходные векторы в скрытые, которые правильно сохраняют в себе информацию о контексте каждого элемента. Далее трансформер-декодировщик декодирует результат кодировщика в новую последовательность, которая состоит из эмбедингов элементов выходного языка. После по эмбедингам генерируются сами итоговые элементы с помощью вероятностной языковой модели.
-−
 Ниже рассмотрим архитектуру кодировщика и декодировщика подробнее.

@@ Строка 39: / Строка 39: @@
 Так как в архитектуре трансформер обработка последовательности заменяется на обработку множества мы теряем информацию о порядке элементов последовательности. Чтобы отобразить информацию о позиции элемента в исходной последовательности мы используем позиционное кодирование.
-Позиционное кодирование (англ. ''positional encoding'') {{---}} позволяет модели получить информацию о порядке элементов в последовательности путем прибавления специальных меток к вектору входных элементов. Позиции элементов <math>i</math> кодируются векторами <math>p_i</math>, <math>i = 1, 2, ..., n</math>, так, что чем больше <math>|i - j|</math>, тем больше <math>||p_i - p_j||</math>, и <math>n</math> не ограничено:
+Позиционное кодирование (англ. ''positional encoding'') {{---}} позволяет модели получить информацию о порядке элементов в последовательности путем прибавления специальных меток к вектору входных элементов. Позиции элементов <math>i</math> кодируются векторами <math>p_i</math>, <math>i = 1, 2, ..., n</math>, так, что чем больше <math>|i - j|</math>, тем больше <math>||p_i - p_j||</math>, и <math>n</math> не ограничено. Пример такого кодирования:
 <math>
   p_{(i, s)} =
    \begin{cases}
-     \sin \left(i \cdot 10000^{\frac{-s}{d_{model}}}\right)       & \quad \text{если } s \text{ четное}\\
+     \sin \left(i \cdot 10000^{\frac{-2k}{d_{model}}}\right)       & \quad \text{если } s=2k\\
-     \cos \left(i \cdot 10000^{\frac{-s + 1}{d_{model}}}\right)       & \quad \text{если } s \text{ нечетное}
+     \cos \left(i \cdot 10000^{\frac{-2k}{d_{model}}}\right)       & \quad \text{если } s=2k+1
    \end{cases}
 </math>

@@ Строка 44: / Строка 44: @@
   p_{(i, s)} =
    \begin{cases}
-     \sin \left(i \cdot 10000^{\frac{-2s}{d_{model}}}\right)       & \quad \text{если } s \text{ четное}\\
+     \sin \left(i \cdot 10000^{\frac{-s}{d_{model}}}\right)       & \quad \text{если } s \text{ четное}\\
-     \cos \left(i \cdot 10000^{\frac{-2s}{d_{model}}}\right)       & \quad \text{если } s \text{ нечетное}
+     \cos \left(i \cdot 10000^{\frac{-s + 1}{d_{model}}}\right)       & \quad \text{если } s \text{ нечетное}
    \end{cases}
 </math>

@@ Строка 36: / Строка 36: @@
 ===Позиционное кодирование===
-[[Файл:PositionalEncoding.png|400px|thumb|right|Визуализация работы позиционного кодирования<ref>http://www.machinelearning.ru/wiki/images/e/e6/Voron-ML-TopicModeling-slides.pdf</ref>]]
+[[Файл:PositionalEncodingNew.png|400px|thumb|right|Визуализация работы позиционного кодирования<ref>https://kazemnejad.com/blog/transformer_architecture_positional_encoding/</ref>]]
 Так как в архитектуре трансформер обработка последовательности заменяется на обработку множества мы теряем информацию о порядке элементов последовательности. Чтобы отобразить информацию о позиции элемента в исходной последовательности мы используем позиционное кодирование.
 Позиционное кодирование (англ. ''positional encoding'') {{---}} позволяет модели получить информацию о порядке элементов в последовательности путем прибавления специальных меток к вектору входных элементов. Позиции элементов <math>i</math> кодируются векторами <math>p_i</math>, <math>i = 1, 2, ..., n</math>, так, что чем больше <math>|i - j|</math>, тем больше <math>||p_i - p_j||</math>, и <math>n</math> не ограничено:
-<math>p_{(i, s)} = \sin \left(i \cdot 10000^{\frac{-2s}{d_{model}}}\right)</math>,
-<math>p_{(i, s + \frac{d}{2})} = \cos \left(i \cdot 10000^{\frac{-2s}{d_{model}}}\right)</math>
+<math>
 ===Self-attention===

@@ Строка 5: / Строка 5: @@
 Устройство трансформера состоит из кодирующего и декодирующего компонентов. На вход принимается некая последовательность, создается ее [[:Векторное_представление_слов|векторное представление]] (англ. ''embedding''), прибавляется вектор позиционного кодирования, после чего набор элементов без учета порядка в последовательности поступает в кодирующий компонент (параллельная обработка), а затем декодирующий компонент получает на вход часть этой последовательности и выход кодирующего. В результате получается новая выходная последовательность.
-В основе лежит архитектура похожая на базовую архитектуру Seq2seq<ref>http://neerc.ifmo.ru/wiki/index.php?title=%D0%9C%D0%B5%D1%85%D0%B0%D0%BD%D0%B8%D0%B7%D0%BC_%D0%B2%D0%BD%D0%B8%D0%BC%D0%B0%D0%BD%D0%B8%D1%8F&mobileaction=toggle_view_desktop#.D0.91.D0.B0.D0.B7.D0.BE.D0.B2.D0.B0.D1.8F_.D0.B0.D1.80.D1.85.D0.B8.D1.82.D0.B5.D0.BA.D1.82.D1.83.D1.80.D0.B0_Seq2seq</ref>: кодирующий компонент {{---}} это последовательные блоки кодировщиков (англ. ''encoders''), а декодирующий компонент {{---}} это последовательные блоки декодировщиков (англ. ''decoders''). Каждый кодировщики последовательно передает результат своей работы следующему кодировщику на вход. Декодировщики передают друг другу на вход результат работы вместе с результатом кодирующего компонента.
+В основе лежит архитектура похожая на базовую архитектуру [[Механизм внимания#Базовая архитектура Seq2seq|Seq2seq]]: кодирующий компонент {{---}} это последовательные блоки кодировщиков (англ. ''encoders''), а декодирующий компонент {{---}} это последовательные блоки декодировщиков (англ. ''decoders''). Каждый кодировщики последовательно передает результат своей работы следующему кодировщику на вход. Декодировщики передают друг другу на вход результат работы вместе с результатом кодирующего компонента.
 Ниже рассмотрим архитектуру кодировщика и декодировщика подробнее.
@@ Строка 30: / Строка 30: @@
 . Повторим пункт 5 еще раз: добавим сквозную связь и нормализацию слоя: <math>z_i = \mathrm{LN}(h'''_i + h''_i; \mu_2, \sigma_2)</math>
-После, в кодирующем компоненте пункты кодировщика 3-7 повторяются еще несколько раз, преобразовывая друг за другом из контекста контекст. Тем самым мы обогащаем модель и увеличиваем в ней количество параметров.
+После, в кодирующем компоненте пункты кодировщика 3--7 повторяются еще несколько раз, преобразовывая друг за другом из контекста контекст. Тем самым мы обогащаем модель и увеличиваем в ней количество параметров.
@@ Строка 93: / Строка 93: @@
 . В самом конце мы хотим получить вероятностную порождающую модель для элементов. Результат (индекс слова с наибольшей вероятностью): <math>\mathrm{SoftArgMax}(W_y y_t + b_y) </math>, где <math> W_y </math>, <math> b_y </math> {{---}} обучаемые параметры линейного преобразования. Для каждой позиции <math>t</math> выходной последовательности мы строим вероятностную модель языка, то есть все элементы из выходного словаря получают значение вероятности. Эти значения как раз получаются из векторов <math>y_t</math> из предыдущего пункта, которые мы берем с последнего блока трансформера-декодировщика.
-Последний этап выполняется только после того, когда повторились пункты 1-4 для всех декодировщиков. На выходе получаем вероятности классов, по факту для каждой позиции решаем задачу многоклассовой классификации, для того, чтобы понять какие элементы лучше поставить на каждые позиции.
+Последний этап выполняется только после того, когда повторились пункты 1--4 для всех декодировщиков. На выходе получаем вероятности классов, по факту для каждой позиции решаем задачу многоклассовой классификации, для того, чтобы понять какие элементы лучше поставить на каждые позиции.
 ==Источники информации==