Изменения

'''Векторное представление слов''' (англ. ''word embedding'') {{- --}} общее название для различных подходов к моделированию языка и обучению представлений в обработке естественного языка, направленных на сопоставление словам из некоторого словаря векторов небольшой размерности.

Наиболее простой способ представления слов в виде векторов[[Файл:One-hot-encoding.png|thumb|right|250px|[https://www.shanelynn. ie/get-busy-with-word-embeddings-introduction/ Источник]]] Пусть число различных слов равно <math>K</math>. Сопоставим слову с номером <math>i</math> вектор длины <math>K</math>, в котором <math>i</math>-тая координата равна единице, а все остальные {{--- }} нулям. Недостатком one-hot encoding является то, что по векторным представлениям нельзя судить о схожести смысла слов. Также вектора имеют очень большой размер, из-за чего их неэффективно хранить в памяти.         

word2vec {{- --}} способ построения сжатого пространства векторов слов, использующий нейронные сети. Принимает на вход большой текстовый корпус и сопоставляет каждому слову вектор. Сначала он создает словарь, а затем вычисляет векторное представление слов. Векторное представление основывается на контекстной близости: слова, встречающиеся в тексте рядом с одинаковыми словами (а следовательно, имеющие схожий смысл), в векторном представлении будут иметь близкие координаты векторов-словимеют высокое ''косинусное сходство'' (англ. [https://en.wikipedia. org/wiki/Cosine_similarity cosine similarity]):

В word2vec существуют две основных модели обучения: Skip-gram и CBOW (Continuous Bag of Words). В модели Skip-gram по слову предсказываются слова из его контекста, а в модели CBOW по контексту подбирается наиболее вероятное слово. На выходном слое используется функция <math>softmax</math> или его вариация\text{similarity}(\mathbf{A}, чтобы получить на выходе распределение вероятности каждого слова. В обеих моделях входные и выходные слова подаются в one-hot encoding\mathbf{B}) = \cos(\theta) = {\mathbf{A} \cdot \mathbf{B} \over \|\mathbf{A}\| \|\mathbf{B}\|} = \frac{ \sum\limits_{i=1}^{n}{A_i B_i} }{ \sqrt{\sum\limits_{i=1}^{n}{A_i^2}} \sqrt{\sum\limits_{i=1}^{n}{B_i^2}} }, благодаря чему при умножении на матрицу <math>W</math>, соединяющую входной и скрытый слои, происходит выбор одной строки <math>W</math>. Размерность <math>N</math> является гиперпараметром алгоритма, а обученная матрица <math>W</math> - выходом, так как ее строки содержат векторные представления слов.

 В word2vec существуют две основных модели обучения: ''Skip-gram'' и ''CBOW'' (англ. ''Continuous Bag of Words''). В модели ''Skip-gram'' по слову предсказываются слова из его контекста, а в модели ''CBOW'' по контексту подбирается наиболее вероятное слово. На выходном слое используется функция <math>softmax</math> или его вариация, чтобы получить на выходе распределение вероятности каждого слова. В обеих моделях входные и выходные слова подаются в one-hot encoding, благодаря чему при умножении на матрицу <math>W</math>, соединяющую входной и скрытый слои, происходит выбор одной строки <math>W</math>. Размерность <math>N</math> является гиперпараметром алгоритма, а обученная матрица <math>W</math> {{---}} выходом, так как ее строки содержат векторные представления слов. Для ускорения обучения моделей ''Skip-gram '' и CBOW используются модификации <math>softmax</math>, такие как иерархический <math>softmax</math> и ''negative subsamplingsampling'', позволяющие вычислять распределение вероятностей быстрее, чем за линейное время от размера словаря.

|[[Файл:skip-gram.png|270px|thumb|[http://www.claudiobellei.com/2018/01/06/backprop-word2vec/ Схема сети для модели Skip-gram]]] |[[Файл:cbow.png|260px|thumb|center|[http://www.claudiobellei.com/2018/01/06/backprop-word2vec/ Схема сети для модели CBOW]]] |[[Файл:Words-space.png|thumb|right|500px|Полученные векторы-слова отражают различные грамматические и семантические [https://towardsdatascience.com/word-embedding-with-word2vec-and-fasttext-a209c1d3e12c концепции].<br><math>W_{king} + (W_{woman} - W_{man}) = W_{queen}</math><br><math>W_{walked} - W_{walking} = W_{swam} - W_{swimming}</math>]]

Алгоритм Недостатком word2vec был разработан является то, что с его помощью не могут быть представлены слова, не встречающиеся в Google под руководством Томаса Миколова и опубликован в 2013 годуобучающей выборке. fastText решает эту проблему с помощью <math>N</math>-грамм символов. Например, <math>3</math>-граммами для слова ''яблоко'' являются ''ябл'', ''бло'', ''лок'', ''око''. Модель fastText строит векторные представления <math>N</math>- улучшение word2vec также под руководством Томаса Миколоваграмм, но уже а векторным представлением слова является сумма векторных представлений всех его <math>N</math>-грамм. Части слов с большой вероятностью встречаются и в Facebookдругих словах, опукованное в 2015 годучто позволяет выдавать векторные представления и для редких слов.

Недостатком == Примеры кода с использованием библиотеки Gensim ===== Загрузка предобученной модели русского корпуса === '''import''' gensim '''import''' gensim.downloader '''as''' download_api russian_model = download_api.load(<font color="green">'word2vec-ruscorpora-300'</font>)<br> <font color="grey"># ''Выведем первые 10 слов корпуса.<br># ''В модели "word2vec является то-ruscorpora-300" после слова указывается часть речи: NOUN (существительное), что с его помощью не могут быть представлены словаADJ (прилагательное) и так далее.''<br># ''Но существуют также предоубученные модели без разделения слов по частям речи, не встречающиеся в обучающей выборкесмотри [https://github. fastText решает эту проблему с помощью Ncom/RaRe-Technologies/gensim-грамм символовdata репозиторий]''</font> list(russian_model.vocab.keys())[:<font color="blue">10</font>] ''<font color="grey"># ['весь_DET', 'человек_NOUN', 'мочь_VERB', 'год_NOUN', 'сказать_VERB', 'время_NOUN', 'говорить_VERB', 'становиться_VERB', 'знать_VERB', 'самый_DET']</font>''<br> <font color="grey"># ''Поиск наиболее близких по смыслу слов.''</font> russian_model.most_similar(<font color="green">'кошка_NOUN'</font>) <font color="grey">''# [('кот_NOUN', 0.7570087909698486), ('котенок_NOUN', 0.7261239290237427), ('собака_NOUN', 0.6963180303573608),'' # ''('мяукать_VERB', 0.6411399841308594), ('крыса_NOUN', 0. Например6355636119842529), 3-граммами для слова ('собачка_NOUN', 0.6092042922973633),'' # ''яблоко('щенок_NOUN' являются , 0.6028496026992798), ('мышь_NOUN'ябл, 0.5975362062454224), ('пес_NOUN', 0.5956044793128967),'' # ''бло('кошечка_NOUN', 0.5920293927192688)]''</font><br> <font color="grey"># ''Вычисление сходства слов''лок</font> russian_model.similarity(<font color="green">'мужчина_NOUN'</font>, <font color="green">'женщина_NOUN'</font>) <font color="grey">''# 0.85228276''</font><br> <font color="grey"># ''Поиск лишнего слова''око</font> russian_model.doesnt_match(<font color="green">'завтрак_NOUN хлопья_NOUN обед_NOUN ужин_NOUN'</font>. Модель теперь строит векторные представления Nsplit()) <font color="grey"># ''хлопья_NOUN''</font><br> <font color="grey"># ''Аналогия: Женщина + (Король -граммМужчина) = Королева''</font> russian_model.most_similar(positive=[<font color="green">'король_NOUN'</font>,<font color="green">'женщина_NOUN'</font>], а векторным представлением слова будет сумма векторных представлений для всех его Nnegative=[<font color="green">'мужчина_NOUN'</font>], topn=1) <font color="grey"># ''[('королева_NOUN', 0.7313904762268066)]''</font><br> <font color="grey"># ''Аналогия: Франция = Париж + (Германия -граммБерлин)''</font> russian_model. Части слов с большой вероятностью встречаются и в других словахmost_similar(positive=[<font color="green">'париж_NOUN'</font>,<font color="green">'германия_NOUN'</font>], negative=[<font color="green">'берлин_NOUN'</font>], topn=1) <font color="grey"># ''[('франция_NOUN', что позволяет выдавать векторные представления и для редких слов тоже0.8673800230026245)]''</font>

== Примечания Источники информации ==<references* [https:/>/en.wikipedia.org/wiki/Word_embedding Word embedding] {{---}} статья о векторных представлениях в английской Википедии* [https://youtu.be/Wq414SDmOCM (YouTube) Обработка естественного языка] {{---}} лекция на русском Даниила Полыковского в курсе Техносферы* [https://youtu.be/ERibwqs9p38 (YouTube) Word Vector Representations: word2vec] {{---}} лекция на английском в Стэнфордском Университете* [https://arxiv.org/abs/1301.3781 word2vec article] {{---}} оригинальная статья по word2vec от Томаса Миколова* [https://code.google.com/archive/p/word2vec/ word2vec code] {{---}} исходный код word2vec на Google Code* [https://rare-technologies.com/word2vec-tutorial Gensim tutorial on word2vec] {{---}} небольшое руководство по работе с word2vec в библиотеке Gensim* [https://radimrehurek.com/gensim/models/fasttext.html Gensim documentation on fastText] {{---}} документация по fastText в библиотеке Gensim* [https://github.com/RaRe-Technologies/gensim-data Gensim Datasets] {{---}} репозиторий предобученных моделей для библиотеки Gensim* [https://fasttext.cc/ fastText] {{---}} NLP библиотека от Facebook * [https://arxiv.org/pdf/1607.04606.pdf fastText article] {{---}} оригинальная статья по fastText от Piotr Bojanowski* [https://rusvectores.org/ru/ RusVectōrēs] {{---}} онлайн сервис для работы с семантическими отношениями русского языка

== Источники информации ==# [https[Категория://fasttext.cc/Машинное обучение]] [[Категория: Обработка естественного языка]] {{---}} fastText by Facebook