89
правок
Изменения
→Обучение с частичным привлечением учителя для автоматического распознавания речи
'''Сверточный модуль'''
[[Файл:Convolution_module.png|600px|thumb|right|'''Рисунок 3.''' Сверточный модуль]]
Последовательность слоев в сверточном модуле начинается с управляемого модуля[https://arxiv<ref>N.org/pdfDauphin, Angela Fan, Michael Auli, David Grangier {{---}} Language Modeling with Gated Convolutional Networks</1612.08083.pdf]ref>: сверточного слоя с ядром $1 \times 1$ (англ. ''pointwise convolution'') и управляемого линейного блока (англ. ''gated linear unit''). Использование управляемого линейного блока уменьшает [[Сверточные нейронные сети#Residual block|проблему исчезающего градиента]]. После сверточного слоя используется [[Batch-normalization|пакетная нормализация]].
В модуле используется функция активации ''swish'': $swish(x) = \dfrac{x}{1 + e^{- \beta x}}$.
