Векторное представление слов — различия между версиями

Материал из Викиконспекты
Перейти к: навигация, поиск
(One-hot encoding)
Строка 13: Строка 13:
  
 
== One-hot encoding ==
 
== One-hot encoding ==
Наиболее простой способ представления слов в виде векторов. Пусть число различных слов равно |V|. Сопоставим слову номер i вектор длины |V|, в котором i-тая координата равна 1, а все остальные - нули.
+
Наиболее простой способ представления слов в виде векторов. Пусть число различных слов равно |V|. Сопоставим слову номер i вектор длины |V|, в котором i-тая координата равна 1, а все остальные - нули. Недостатком подходя является то, что близкие по смыслу слова обладают совершенно разными векторами.
  
 
[[Файл:One-hot-encoding.png|300px]]
 
[[Файл:One-hot-encoding.png|300px]]
 
  
 
== Методы построения пространства слов ==
 
== Методы построения пространства слов ==

Версия 20:03, 1 марта 2019

Статья находится в разработке

Векторное представление слов - набор методов обработки естественного языка (NLP) для представления слов из словаря размера |V| (300k, 1M) в линейное пространство меньшей размерности d (100, 1000).

TODO: tf-idf cosinus measure bag-of-words (BOW) continuous BOW N-gram skip-gram word2vec with skip-grams learning

One-hot encoding

Наиболее простой способ представления слов в виде векторов. Пусть число различных слов равно |V|. Сопоставим слову номер i вектор длины |V|, в котором i-тая координата равна 1, а все остальные - нули. Недостатком подходя является то, что близкие по смыслу слова обладают совершенно разными векторами.

One-hot-encoding.png

Методы построения пространства слов

Существует несколько способов построения пространства векторов для слов.

word2vec (Google, 2013) использует нейронные сети. GloVe (Standford), обучается на матрице совместной встречаемости. fastText[1](Facebook, 2015) усовершенствование word2vec


См. также

Примечания

Источники информации

  1. [1] — fastText by Facebook