Изменения

===Кодировщик Конформер===[[Файл:Conformer.png|600px400px|thumb|right|'''a.''' Схема архитектуры Конформер: кодировщик сначала обрабатывает входные данные с помощью CNN(состоящей из слоя пулинга, полносвязного слоя и дропаута), а затем с помощью последовательности блоков конформера.<br> '''b.''' Блок конформера состоит из двух модулей прямой связи (англ. ''feed forward'') между которыми расположены модуль многоголового самовнимания (англ. ''Multi-Head Self Attention'') и модуль свертки.]]Архитектура трансформер, основанная на [[Механизм внимания#Self-Attention|самовнимании]] позволяет фиксировать взаимодействия на большом расстоянии, однако не очень хорошо извлекает точные паттерны локальных признаков. [[Сверточные нейронные сети]], наоборот, эффективно используют локальные признаки, но требуют большого числа слоев для захвата глобального контекста. Архитектура Конформер берет лучшее от двух подходов, комбинируя свертки и механизм самовнимания, достигая $WER$ $2.1\%/4.3\%$ на LibriSpeech. Кодировщик сначала обрабатывает входные данные с помощью CNN(состоящей из слоя [[Сверточные нейронные сети#Пулинговый слой|пулинга]], [[Нейронные сети, перцептрон|полносвязного слоя]] и [[Сверточные нейронные сети#Пулинговый слой|дропаута]]), а затем с помощью последовательности блоков конформера. Блок Конформера состоит из двух модулей прямой связи (англ. ''feed forward''), между которыми расположены модуль многоголового самовнимания (англ. ''Multi-Head Self Attention'') и модуль свертки, с последующим слоем нормализации.<br><br><br>[[Файл:Multi_Head_Self_Attention_module.png|400px|thumb|right|Модуль многоголового самовнимания]]'''Модуль многоголового самовнимания'''<br>