61
правка
Изменения
Нет описания правки
{|align="center"
|-valign="top"
|[[Файл:skip-gram.png|350px270px|thumb|Схема сети для модели Skip-gram]] |[[Файл:cbow.png|350px260px|thumb|center|Схема сети для модели CBOW]]
|}
Алгоритм word2vec был разработан в Google под руководством Томаса Миколова и опубликован в 2013 году. fastText - улучшение word2vec также под руководством Томаса Миколова, но уже в Facebook, опукованное в 2015 году.
Недостатком word2vec является то, что с его помощью не могут быть представлены слова, не встречающиеся в обучающей выборке. fastText решает эту проблему с помощью N-грамм символов. Например, 3-граммами для слова ''яблоко'' являются ''ябл'', ''бло'', ''лок'', ''око''. Модель теперь строит векторные представления N-грамм, а векторным представлением слова будет сумма векторных представлений для всех его N-грамм. Части слов с большой вероятностью встречаются и в других словах, что позволяет выдавать векторных векторные представления и для редких слов тоже.
