89
правок
Изменения
→Обучение с частичным привлечением учителя для автоматического распознавания речи
Часто получить размеченные данные в необходимых объемах является сложно реализуемой задачей, особенно с учетом разнообразия существующих языков: для современных систем распознавания речи требуются тысячи часов размеченной речи для достижения приемлемой производительности. Также изучение исключительно на размеченных данных не похоже на естественный процесс овладения
языком, например, у детей, которые учатся, слушая окружающую их речь. <br>
Это повлияло на то, что сейчас в машинном обучении для распознавания речи успешно
используется [[Обучение с частичным привлечением учителя#Самообучение (Self Training)| самообучение]].
Одним из примеров алгоритмов самообучения является подход, впервые представленный в статье[https://arxiv.org/pdf/2010.10504.pdf], основанный на комбинации алгоритмов [[Распознавание_речи#Noisy_student | noisy student]], [[Распознавание_речи#wav2vec | wav2vec]] а также моделей Конформерови использовании модели [[Распознавание_речи#Конформер| Конформер]]. Такой метод позволил уменьшить $WER$ на наборах данных LibriSpeechtest/других датасетах test-other с $1.7\%/3.3\%$ (предыдущий ''state-of-the-art'') до $1.4\%/2.6\%$. <br> Основная его идея состоит в том, что множество моделей Конформеров при помощи алгоритма wav2vec предварительно обучается на неразмеченных данных, при этом одновременно с этим на основе них генерируется генерируются размеченные. Таким образом, неразмеченные данные используются для двух целей: для обучения модели и для генерации размеченных данных, которые используются для дальнейшего обучения модели алгоритмом noisy student.
===Конформер===
