Изменения

Перейти к: навигация, поиск

Векторное представление слов

123 байта добавлено, 23:35, 5 марта 2019
Обучение модели word2vec и fastText на текстовом корпусе
'''import''' gensim.downloader '''as''' download_api
russian_model = download_api.load(<font color="green">'word2vec-ruscorpora-300'</font>)<br>
<font color="grey"># ''Выведем первые 10 слов корпуса.<br># Заметим, что ''В модели "word2vec-ruscorpora-300" после слова и указывается часть речи: NOUN (существительное), ADJ (прилагательное) и так далее.''<br># ''Существуют Но существуют также предоубученные модели без разделения слов по частям речи''<br># ''например, "glove-wiki-gigaword-50" из смотри [https://github.com/RaRe-Technologies/gensim-data репозиториярепозиторий]''</font>
list(russian_model.vocab.keys())[:<font color="blue">10</font>]
''<font color="grey"># ['весь_DET', 'человек_NOUN', 'мочь_VERB', 'год_NOUN', 'сказать_VERB', 'время_NOUN', 'говорить_VERB', 'становиться_VERB', 'знать_VERB', 'самый_DET']</font>''<br>
'''import''' gensim.downloader '''as''' download_api<br>
<font color="grey"># ''Скачаем небольшой текстовый корпус (32 Мб) и откроем его как итерируемый набор предложений: iterable(list(string))''</font>
<font color="grey"># ''В этом текстовом корпусе часть речи для слов не указывается''</font>
corpus = download_api.load(<font color="green">'text8'</font>)<br>
<font color="grey"># ''Обучим модели word2vec и fastText''</font>
Анонимный участник

Навигация