Изменения
→Обучение с частичным привлечением учителя для автоматического распознавания речи
==Обучение с частичным привлечением учителя для автоматического распознавания речи==
Часто получить размеченные данные в необходимых объемах является сложно реализуемой задачей, особенно с учетом разнообразия существующих языков: для современных систем распознавания речи требуются тысячи часов размеченной речи для достижения приемлемой производительности. Также изучение исключительно на размеченных данных не похоже на естественный процесс овладения
языком, например, у детей, которые учатся, слушая окружающую их речь. <br>
Это повлияло на то, что сейчас в машинном обучении для распознавания речи успешно
используется [[Обучение с частичным привлечением учителя#Самообучение (Self Training)| самообучение]].
Одним из примеров алгоритмов самообучения является подход, основанный на комбинации алгоритмов [[Распознавание_речи#Noisy_student | noisy student]], [[Распознавание_речи#wav2vec | wav2vec]] а также моделей Конформеров. Такой метод позволил уменьшить $WER$ на LibriSpeech/других датасетах с $1.7\%/3.3\%$ до $1.4\%/2.6\%$. <br>
Основная его идея состоит в том, что множество моделей Конформеров при помощи алгоритма wav2vec предварительно обучается на неразмеченных данных, при этом одновременно с этим на основе них генерируется размеченные. Таким образом, неразмеченные данные используются для двух целей: для обучения модели и для генерации размеченных данных, которые используются для дальнейшего обучения модели алгоритмом noisy student.
===Конформер===
===wav2vec===
Подход wav2vec основан на самообучении на мел спектрограммах.
