Изменения

Перейти к: навигация, поиск

Долгая краткосрочная память

363 байта добавлено, 15:27, 3 апреля 2019
Управляемые рекуррентные нейроны
=== Управляемые рекуррентные нейроны ===
Немного больше отличаются от стандартных LSTM управляемые рекуррентные нейроны (англ. ''Gated recurrent units, GRU''), впервые описанные в работе Кюнгхюна Чо (англ. Kyunghyun Cho)<ref name=Cho>[https://arxiv.org/pdf/1406.1078v3.pdf Cho. Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation (2014).]</ref>. В ней фильтры «забывания» и входа объединяют в один фильтр «обновления» (англ. ''update gate''). Кроме того, состояние ячейки объединяется со скрытым состоянием, есть и другие небольшие изменения. Построенная в результате модель проще, чем стандартная LSTM, и популярность ее неуклонно возрастает. Эффективность при решении задач моделирования музыкальных и речевых сигналов сопоставима с использованием долгой краткосрочной памяти, но по сравнению с LSTM у данного механизма меньше параметров.
[[File:Lstm-gru.png|none|650px]]
38
правок

Навигация