38
правок
Изменения
→BERT
{{main|Bert}}
[[File:Bert.png|500px|thumb|Архитектура BERT]]
<i>BERT</i> {{- --}} это модель предварительного обучения NLP, представляющая собой многослойный двунаправленный [[:Автокодировщик|кодировщик]] Transformer. В данной архитектуре используется двунаправленное [[:Механизм внимания|самовнимание]]. Модель используется в совокупности с некоторым классификатором, на вход которого подается результат работы <i>BERT</i> {{--- }} векторное представление входных данных.
В основе обучения модели лежат две идеи для обучения.
Для каждой позиции на выход подается вектор размерностью <math>hiddenSize</math> (<math>768</math> в базовой модели).
Этот вектор может быть использован как входной вектор для классификатора.
== См. также ==
