Изменения

Перейти к: навигация, поиск

Векторное представление слов

30 байт добавлено, 15:20, 12 января 2021
BERT
== BERT ==
{{main|BERT}}
[[File:Bert.png|500px|thumb|Рисунок 6. [https://towardsdatascience.com/bert-why-its-been-revolutionizing-nlp-5d1bcae76a13 Архитектура BERT]]]<i>BERT</i> {{---}} это многослойный двунаправленный [[:Автокодировщик|кодировщик]] Transformer. В данной архитектуре используется двунаправленное [[:Механизм внимания|самовнимание]] (англ. self-attention) (рис. 6).
Модель используется в совокупности с некоторым классификатором, на вход которого подается результат работы <i>BERT</i> {{---}} векторное представление входных данных.
В основе обучения модели лежат две идеи.
38
правок

Навигация