14
правок
Изменения
Нет описания правки
[[File:biRNN.png|450px|thumb|Рисунок 7. Двунаправленная рекуррентная сеть]]
Двунаправленная рекуррентная сеть (англ. Bidirectional Recurrent Neural Network, biRNN) представляет собой две однонаправленные рекуррентные сети, одна из которых обрабатывает входную последовательность в прямом порядке, а другая {{---}} в обратном (рис. 7). Таким образом, для каждого элемента входной последовательности считается два вектора скрытых состояний, на основе которых вычисляется выход сети. Благодаря данной архитектуре сети доступна информация о контексте как из прошлого, так и из будущего, что решает проблему однонаправленных рекуррентных сетей. Для обучения biRNN используются те же алгоритмы, что и для RNN.
<math>H_t^f = \sigma^f(W_x^f X_t + W_h^f H_{t-1}^f + b^f)</math>,
<math>H_t^b = \sigma^b(W_x^b X_t + W_h^b H_{t+1}^b + b^b)</math>,
<math>O_t = W^q H_t + b^q</math>,
где <math>H_t^f</math> и <math>H_t^b</math> {{---}} выходы однонаправленных рекуррентных сетей
=== Seq-2-seq сети ===
