89
правок
Изменения
м
→Конформер
Последовательность слоев в сверточном модуле начинается с управляемого модуля<ref>''N. Dauphin, Angela Fan, Michael Auli, David Grangier'' Language Modeling with Gated Convolutional Networks[https://arxiv.org/pdf/1612.08083.pdf]</ref>: сверточного слоя с ядром $1 \times 1$ (англ. ''pointwise convolution'') и управляемого линейного блока (англ. ''gated linear unit''). Управляемый линейный блок {{---}} слой нейронной сети, определяемый как покомпонентное произведение двух линейных преобразований входных данных, [[Практики реализации нейронных сетей#Функции активации|функция активации]] одного из которых {{---}} сигмоида. Использование управляемого линейного блока уменьшает [[Сверточные нейронные сети#Residual block|проблему исчезающего градиента]]. После сверточного слоя используется [[Batch-normalization|пакетная нормализация]].
В модуле используется функция активации ''swish''<ref>''Prajit Ramachandran, Barret Zoph, Quoc V. Le'' Searching for Activation Functions</ref> (''SiLU''<ref>''Dan Hendrycks, Kevin Gimpel'' Gaussian Error Linear Units (GELUs)</ref>,''SiL''<ref>''Stefan Elfwing, Eiji Uchibe, Kenji Doya'' Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning</ref>): $swish(x) = \dfrac{x}{1 + e^{- \beta x}}$, $\beta$ {{---}} параметр.
'''Модули прямой связи'''
