61
правка
Изменения
Нет описания правки
word2vec with skip-grams learning
=== One-hot encoding ===
Наиболее простой способ представления слов в виде векторов. Пусть число различных слов равно |V|. Сопоставим слову номер i вектор длины |V|, в котором i-тая координата равна 1, а все остальные - нули. Недостатком подходя является то, что близкие по смыслу слова обладают совершенно разными векторами, из-за чего не получится искать синонимы слов.
[[Файл:One-hot-encoding.png|300px]]
== Методы = Skip-grams ===В модели skip-grams фиксируется окно нечётного размера W. Слово, находящееся в середине окна, называется центральным, а остальные - контекстом. В модели skip-grams по центральному слову предсказываются слова контекста, обладающие максимальной вероятностью быть встречеными в окне данного центрального слова. [[Файл:Skip-grams.png|450px]] === Continuous Bag Of Words ===Модель CBOW является противоположностью модели skip-grams. В ней по контексту необходимо найти центральное слово с максимальной вероятностью. == word2vec ==word2vec - способ построения сжатого пространства векторов для слов ==, использующий двухслойную нейронную сеть.
word2vec (Google, 2013) использует нейронные сети.
