38
правок
Изменения
→ELMO
Модель применяют дообучая ее: изначально берут предобученную <i>ELMO</i>, а затем корректируют <math>\gamma</math> и <math>s_{i}</math> под конкретную задачу. Тогда вектор, который подается в используемую модель для обучения, будет представлять собой взвешенную сумму значений этого векторах на всех скрытых слоях <i>ELMO</i>.
На данный момент предобученную модель ELMO можно [https://tfhub.dev/google/elmo/3 загрузить ] и использовать в языке программирования Python.
== BERT ==
