89
правок
Изменения
м
→Конформер
Относительное позиционное кодирование основано на относительном расстоянии между токенами. Для подсчета оценки на основании которой на некоторое скрытое состояние будет "обращено внимание" используется относительное расстояние между токенами вместо абсолютного положения текущего токена, а так же два вектора параметров: первый регулирует важность содержания другого токена, а второй важность расстояния между токенами.
Использование модуля многоголового самовнимания с относительным позиционным кодированием позволяет сети лучше обобщать обучаться при различной длине ввода, а результирующий кодировщик более устойчив к неоднородности длины высказывания.
'''Сверточный модуль'''
