89
правок
Изменения
м
→Конформер
===Конформер===
[[Файл:Conformer.png|600px|thumb|right|'''Рисунок 1.''' Схема архитектуры Общая схема Конформера (a) и схема блоков конформера Конформера (b)]]
Трансформер, основанный на [[Механизм внимания#Self-Attention|самовнимании]] позволяет фиксировать глобальные зависимости, однако не очень хорошо извлекает точные паттерны локальных признаков. [[Сверточные нейронные сети]], наоборот, эффективно используют локальные признаки, но требуют большого числа слоев для захвата глобального контекста. Конформер (англ. ''Conformer'') берет лучшее от двух подходов, комбинируя свертки и механизм самовнимания, достигая $WER$ $1.9\%/3.9\%$ на LibriSpeech test/test-other.
