215
правок
Изменения
Нет описания правки
[[File:RNN_BP.jpg|450px|thumb|RNN с задержкой на скрытом слое]]
[[File:RNN_BPTT.jpg|450px|thumb|Развертка RNN]]
Обучение RNN аналогично обучению обычной нейронной сети. Мы также используем [[:Обратное_распространение_ошибки|алгоритм обратного распространения ошибки (backpropagation)]], но с небольшим изменением. Поскольку одни и те же параметры используются на всех временных этапах в сети, градиент на каждом выходе зависит не только от расчетов текущего шага, но и от предыдущих временных шагов. Например, чтобы вычислить градиент при количестве слоев равном 4для четвертого элемента последовательности, нам нужно было бы «распространить ошибку» на 3 шага и суммировать градиенты. Этот алгоритм называется «алгоритмом обратного распространения ошибки сквозь время» (англ. Backpropagation Through Time, BPTT).<ref name=BPTT_1>[http://andrew.gibiansky.com/blog/machine-learning/recurrent-neural-networks/ Backpropagation Through Time]</ref><ref name=BPTT_2>[http://www.wildml.com/2015/10/recurrent-neural-networks-tutorial-part-3-backpropagation-through-time-and-vanishing-gradients/ Backpropagation Through Time]</ref> Алгоритм обратного распространения ошибки сквозь время: [[File:RNN_BPTT_GRAD.png|400px|frameless]]
== Области и примеры применения ==
** Прогнозирование следующего пикселя на основе окружения
** Генерация описания изображений
== Виды RNN ==
=== Один к одному ===
{|
|-
|[[File:RNN_OTO.jpg|100px|left]]
|Архитектура по сути является обычной нейронной сетью.
|}
=== Один ко многим ===
{|
|-
|[[File:RNN_OTM.jpg|100px|left]]
|Один вход ко многим выходам может применяться, например, для генерации аудиозаписи. На вход подаем жанр музыки, который хотим получить, на выходе получаем последовательность аудиозаписи.
|}
=== Многие к одному ===
{|
|-
|[[File:RNN_MTO.jpg|100px|left]]
|Много входов и один выход может применяться, если мы хотим оценить тональность рецензии. На вход подаем слова рецензии, на выходе получаем оценку ее тональности: позитивная рецензия или негативная.
|}
=== Многие ко многим ===
{|
|-
|[[File:RNN_MTM1.jpg|100px|left]]
|Данную архитектуру можно использовать для перевода текста с одного языка на другой.
|-
|[[File:RNN_MTM2.jpg|100px|left]]
|Такой вариант подойдет для определения для классификации каждого слова в предложении в зависимости от контекста.
|}
== Архитектуры ==
