Изменения

Перейти к: навигация, поиск
Конформер
'''Модули прямой связи'''
[[Файл:FFN.png|600px|thumb|right|'''Рисунок 4.''' Схема модуля прямой связи]]
В отличие от Трансформера, в котором единственный модуль прямой связи следует за модулем внимания и состоит из двух линейных преобразований и нелинейной активации между ними, в Конформере Конформер представляет собой два модуля прямой связи, состоящие состоящих из слоя нормализации и двух линейных слоев. Кроме того, для регуляризации используется функция активации ''swish'' и [[Практики реализации нейронных сетей#Дропаут|дропаут]].
===wav2vec===
24
правки

Навигация