Изменения

Перейти к: навигация, поиск

BERT (языковая модель)

18 байт добавлено, 23:42, 23 января 2021
м
Нет описания правки
В [https://github.com/google-research/bert#bert репозитории] Google Research доступны для загрузки и использования несколько вариантов обученной сети в формате контрольных точек обучения модели популярного фреймворка TensorFlow<ref>[https://www.tensorflow.org/ TensorFlow]</ref>. В таблице в репозитории приведено соответствие параметров <tex>L</tex> и <tex>H</tex> и моделей. Использование моделей с малыми значениями гиперпараметров на устройствах с меньшей вычислительной мощностью позволяет сохранять баланс между производительностью и потреблением ресурсов. Также представлены модели с различным типом скрытия токенов при обучении, доступны два варианта: скрытие слова целиком (англ. ''whole word masking'') или скрытие составных частей слов (англ. ''WordPiece masking'').
Также модель доступна для использования с помощью популярной библиотеки PyTorch<ref>[https://pytorch.org/ PyTorch]</ref>.
=== Пример использования ===
8
правок

Навигация