Изменения

Перейти к: навигация, поиск

Векторное представление слов

34 байта добавлено, 02:36, 12 января 2021
ELMO
Модель применяют дообучая ее: изначально берут предобученную <i>ELMO</i>, а затем корректируют <math>\gamma</math> и <math>s_{i}</math> под конкретную задачу. Тогда вектор, который подается в используемую модель для обучения, будет представлять собой взвешенную сумму значений этого векторах на всех скрытых слоях <i>ELMO</i>.
На данный момент предобученную модель ELMO можно [https://tfhub.dev/google/elmo/3 загрузить ] и использовать в языке программирования Python.
== BERT ==
38
правок

Навигация