Изменения

'''Векторное представление слов''' (англ. ''word embedding'') {{- --}} общее название для различных подходов к моделированию языка и обучению представлений в обработке естественного языка, направленных на сопоставление словам из некоторого словаря векторов небольшой размерности.

[[Файл:One-hot-encoding.png|thumb|right|250px220px| Рисунок 1. Пример one-hot encoding для словаря из 9 слов. [https://www.shanelynn.ie/get-busy-with-word-embeddings-introduction/ Источник]]] Наиболее простой способ представления слов в виде векторов. Пусть число различных слов равно <math>K</math>. Сопоставим слову с номером <math>i</math> вектор длины <math>K</math>, в котором <math>i</math>-тая координата равна единице, а все остальные {{- --}} нулям(рис. 1). Недостатком one-hot encoding является то, что по векторным представлениям нельзя судить о схожести смысла слов. Также вектора имеют очень большой размер, из-за чего их неэффективно хранить в памяти.

Пусть есть <math>L</math> слоев сети. Входные и выходные данные будем представлять в виде векторов, кодируя слова. Тогда каждый результирующий вектор будем считать на основании множества: <math>\left \{ {x_{k}^{LM}}, \overrightarrow{h_{k, j}^{LM}}, \overleftarrow{h_{k, j}^{LM}} | j =1, ..., L \right \} = word2vec =\left \{ h_{k, j}^{LM} | j =1, ..., L \right \}</math>. word2vec Здесь <math>x_{k}^{LM}</math> {{--- способ построения сжатого пространства векторов слов}} входящий токен, а <math>\overrightarrow{h_{k, j}^{LM}}</math> и <math>\overleftarrow{h_{k, использующий нейронные сетиj}^{LM}}</math> {{---}} скрытые слои в одном и в другом направлении. Принимает на вход большой текстовый корпус и сопоставляет каждому слову вектор Тогда результат работы ELMO будет представлять из себя выражение:<math>ELMO_{k}^{task} = \gamma^{taks}\sum_{j=0}^{L} s_{i}^{task}h_{k,j}^{LM}</math>. Сначала он создает словарь Обучаемый общий масштабирующий коэффициент <math>\gamma^{task}</math> регулирует то, а затем вычисляет векторное представление как могут отличаться друг от друга по норме векторные представления слов. Векторное представление основывается на контекстной близости Коэффициенты <math>s_{i}^{task}</math> {{---}} это обучаемые параметры, нормализованные функцией <math>Softmax</math>. Модель применяют дообучая ее: словаизначально берут предобученную <i>ELMO</i>, встречающиеся в тексте рядом с одинаковыми словами (а следовательнозатем корректируют <math>\gamma</math> и <math>s_{i}</math> под конкретную задачу. Тогда вектор, имеющие схожий смысл)который подается в используемую модель для обучения, будет представлять собой взвешенную сумму значений этого векторах на всех скрытых слоях <i>ELMO</i>. На данный момент предобученную модель ELMO можно [https://tfhub.dev/google/elmo/3 загрузить] и использовать в векторном представлении будут иметь близкие координаты векторов-словязыке программирования Python.

В word2vec существуют две основных модели обучения: Skip-gram и CBOW == BERT =={{main|BERT (Continuous Bag of Wordsязыковая модель)}}[[File:Bert.png|500px|thumb|Рисунок 6. [https://towardsdatascience. В модели Skipcom/bert-why-its-been-revolutionizing-nlp-gram по слову предсказываются слова из его контекста, а в модели CBOW по контексту подбирается наиболее вероятное слово. На выходном слое используется функция 5d1bcae76a13 Архитектура BERT]]]<mathi>softmaxBERT</mathi> или его вариация, чтобы получить на выходе распределение вероятности каждого слова{{---}} это многослойный двунаправленный [[:Автокодировщик|кодировщик]] Transformer. В обеих моделях входные и выходные слова подаются данной архитектуре (рис. 6) используется двунаправленное [[:Механизм внимания|самовнимание]] (англ. self-attention). Модель используется в one-hot encodingсовокупности с некоторым классификатором, благодаря чему при умножении на матрицу вход которого подается результат работы <mathi>WBERT</math>, соединяющую входной и скрытый слои, происходит выбор одной строки <math>W</mathi>{{---}} векторное представление входных данных. Размерность <math>N</math> является гиперпараметром алгоритма, а обученная матрица <math>W</math> - выходом, так как ее строки содержат векторные представления словВ основе обучения модели лежат две идеи.

Для ускорения обучения моделей Skip-gram и CBOW используются модификации <math>softmax</math>Первая заключается в том, такие как иерархический чтобы заменить <math>softmax15\%</math> слов масками и negative subsampling, позволяющие вычислять распределение вероятностей быстрее, чем за линейное время от размера словаряобучить сеть предсказывать эти слова.

{|align="center" |-valign="top" |[[Файл:skip-gram.png|270px|thumb|Схема сети для модели Skip-gram]] |[[Файл:cbow.png|260px|thumb|Схема сети для модели CBOW]] |[[Файл:Words-space.png|thumb|right|500px|Полученные векторы-слова могут быть использованы для вычисления семантического расстояния между словами. После обучения векторы отражают различные грамматические и семантические концепции.<br>Второй трюк состоит в том, чтобы дополнительно научить <mathi>W_{king} + (W_{woman} - W_{man}) = W_{queen}BERT</mathi><br><math>W_{walked} - W_{walking} = W_{swam} - W_{swimming}</math>]] |}определять, может ли одно предложение идти после другого.

== fastText ==Алгоритм word2vec был разработан в Google под руководством Томаса Миколова Точно так же, как и опубликован в 2013 годуобычном трансформере, <i>BERT</i> принимает на вход последовательность слов, которая затем продвигается вверх по стеку энкодеров. fastText - улучшение word2vec также под руководством Томаса Миколова, но уже Каждый слой энкодера применяет самовнимание и передает результаты в Facebookсеть прямого распространения, опукованное в 2015 годупосле чего направляет его следующему энкодеру.

Недостатком word2vec является то, что с его помощью не могут быть представлены слова, не встречающиеся Для каждой позиции на выход подается вектор размерностью <math>hiddenSize</math> (<math>768</math> в обучающей выборкебазовой модели). fastText решает эту проблему с помощью N-грамм символов. Например, 3-граммами для слова ''яблоко'' являются ''ябл'', ''бло'', ''лок'', ''око''. Модель теперь строит векторные представления N-грамм, а векторным представлением слова будет сумма векторных представлений для всех его N-грамм. Части слов с большой вероятностью встречаются и в других словах, что позволяет выдавать векторные представления и Этот вектор может быть использован как входной вектор для редких слов тожеклассификатора.

* [https://en.wikipedia.org/wiki/Word_embeddingWord embedding] {{---}} статья о векторных представлениях в английской Википедии* [https://youtu.be/Wq414SDmOCM (YouTube) Обработка естественного языка] {{---}} лекция на русском Даниила Полыковского в курсе Техносферы* [https://youtu.be/ERibwqs9p38 (YouTube) Word Vector Representations: word2vec] {{---}} лекция на английском в Стэнфордском Университете* [https://arxiv.org/abs/1301.3781word2vec article] {{---}} оригинальная статья по word2vecот Томаса Миколова* [https://code.google.com/archive/p/word2vec/word2vec code] {{---}} исходный код word2vec на Google Code* [https://rare-technologies.com/word2vec-tutorial Gensim tutorial on word2vec] {{---}} небольшое руководство по работе с word2vec в библиотеке Gensim* [https://radimrehurek.com/gensim/models/fasttext.html Gensim documentation on fastText] {{---}} документация по fastText в библиотеке Gensim* [https://github.com/RaRe-Technologies/gensim-data Gensim Datasets] {{---}} репозиторий предобученных моделей для библиотеки Gensim* [https://fasttext.cc/fastText] {{---}} NLP библиотека от Facebook * [https://arxiv.org/pdf/1607.04606.pdf fastText article] {{---}} оригинальная статья по fastText by Facebookот Piotr Bojanowski* [https://rusvectores.org/ru/ RusVectōrēs] {{---}} онлайн сервис для работы с семантическими отношениями русского языка* [https://arxiv.org/abs/1810.04805/ Cornell univerity arxiv] {{---}} оригинальная статья про Bert* [https://arxiv.org/abs/1802.05365/ Cornell univerity arxiv] {{---}} оригинальная статья с описанием ELMO