89
правок
Изменения
м
→Noisy student
'''Алгоритм'''
1. Модель $M_0$ настраивается дообучается (англ. ''fine-tune'') на наборе данных $S$ с использованием ''SpecAugment''. $M = M_0$.<br>
2. Модель $M$ сливается (англ. ''fuse'')<ref>''Caglar Gulcehre, Orhan Firat. Kelvin Xu, Kyunghyun Cho, Loic Barrault, Huei-Chi Lin, Fethi Bougares, Holger Schwenk, Yoshua Bengio'' On Using Monolingual Corpora in Neural Machine Translation [https://arxiv.org/pdf/1503.03535.pdf]</ref> с моделью $LM$.<br>
3. Набор данных $U$ размечается с помощью $M$, получается новый набор данных $A$.<br>
4. Наборы $S$ и $A$ объединяются, производится настройка дообучение предобученной модели $M_i$ на объединенном наборе данных с использованием ''SpecAugment''.<br>
5. Если перебраны не все модели из набора, то $M = M_{i + 1}$, происходит возвращение к шагу $2$.
