89
правок
Изменения
м
→Конформер
===Конформер===
[[Файл:Conformer.png|600px|thumb|right|'''Рисунок 1.''' Общая схема Конформера (a) и схема блоков Конформера (b)]]
Трансформер, использующий [[Механизм внимания#Self-Attention|механизм самовнимания]], позволяет фиксировать глобальные зависимостихорошо захватывает глобальный контекст, однако не очень хорошо извлекает точные паттерны локальных признаковлокальные признаки. [[Сверточные нейронные сети]], наоборот, эффективно используют локальные признаки, но требуют большого числа слоев для захвата глобального контекста. Конформер (англ. ''Conformer'') берет лучшее от двух подходов, комбинируя свертки и механизм комбинирует сверточные слои с механизмом самовнимания, достигая . $WER$ на LibriSpeech test/test-other составляет $1.9\%/3.9\%$ на LibriSpeech test/test-other.
Энкодер сначала обрабатывает входные данные с помощью сверточной нейронной сети, состоящей из слоя [[Сверточные нейронные сети#Пулинговый слой|пулинга]], [[Нейронные сети, перцептрон|полносвязного слоя]] и [[Практики реализации нейронных сетей#Дропаут|дропаута]], а затем с помощью последовательности блоков Конформера.
