http://neerc.ifmo.ru/wiki/api.php?action=feedcontributions&feedformat=atom&user=178.71.230.227&* 2026-04-22T21:57:42Z Вклад участника MediaWiki 1.30.0 http://neerc.ifmo.ru/wiki/index.php?title=%D0%92%D0%B5%D0%BA%D1%82%D0%BE%D1%80%D0%BD%D0%BE%D0%B5_%D0%BF%D1%80%D0%B5%D0%B4%D1%81%D1%82%D0%B0%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D0%BB%D0%BE%D0%B2&diff=70123 2019-03-02T08:47:14Z

<p>178.71.230.227: </p> <hr /> <div>'''Статья находится в разработке'''<br /> <br /> '''Векторное представление слов''' - общее название для различных подходов к моделированию языка и обучению представлений в обработке естественного языка, направленных на сопоставление словам (и, возможно, фразам) из некоторого словаря векторов из значительно меньшего количества слов в словаре. Для этого используют нейронные сети, методы понижения размерности в применении к матрицам совместных упоминаний слов (word co-occurrence matrices) и явные представления, обучающиеся на контекстах упоминаний слов (explicit representations).<br /> <br /> TODO:<br /> tf-idf<br /> cosinus measure<br /> bag-of-words (BOW)<br /> continuous BOW<br /> N-gram<br /> skip-gram<br /> word2vec with skip-grams learning<br /> <br /> == One-hot encoding ==<br /> Наиболее простой способ представления слов в виде векторов. Пусть число различных слов равно |V|. Сопоставим слову номер i вектор длины |V|, в котором i-тая координата равна 1, а все остальные - нули. Недостатком подходя является то, что близкие по смыслу слова обладают совершенно разными векторами, из-за чего не получится искать синонимы слов.<br /> <br /> [[Файл:One-hot-encoding.png|300px]]<br /> <br /> == word2vec ==<br /> word2vec - способ построения сжатого пространства векторов слов. Принимает на вход большой текстовый корпус и сопоставляет каждому слову вектор. Сначала он создает словарь, «обучаясь» на входных текстовых данных, а затем вычисляет векторное представление слов. Векторное представление основывается на контекстной близости: слова, встречающиеся в тексте рядом с одинаковыми словами (а следовательно, имеющие схожий смысл), в векторном представлении будут иметь близкие координаты векторов-слов. В word2vec существуют две основных модели обучения: skip-grams и CBOW (Continuous Bag of Words). В модели skip-grams по слову предсказываются слова из его контекста, а в модели CBOW по контексту подбирается наиболее вероятное слово. <br /> <br /> Полученные векторы-слова могут быть использованы для вычисления «семантического расстояния» между словами. После обучения векторы отражают различные грамматические и семантические концепции.<br /> <br /> W_{king} - W_{man} + W_{woman} = W_{queen}<br /> W_{shirt} - W_{clothing} + W_{furniture} = W_{chair}<br /> <br /> == См. также ==<br /> * [[Обработка естественного языка]]<br /> <br /> == Примечания ==<br /> &lt;references/&gt;<br /> <br /> == Источники информации ==<br /> # [https://fasttext.cc/] {{---}} fastText by Facebook</div>

178.71.230.227