Изменения

Модели рекурсивных сетей используют иерархические структуры образцов при обучении. Такие как, поэтому они преуспели в следующих областях:

при При обучении последовательных структур и деревьев в задачах обработки естественного языка , фразы и предложения моделируются через векторное представление слов. 

Базовая структура сети является бинарным деревом, состоящим из родительского компонента (коренькорня), и дочерних компонентов (листьев) Каждая группа - набор нейронов, размер которого зависит от сложности входных данных. Входная последовательность данных подаются на листья, а корень использует классификатор для определения класса и меры (score)

*<math>b, c</math> - дочерние векторы

*<math>W</math> — обученная матрица весов, <math>W \in R^{(d \times 2d)}</math>

*<math>f</math> - нелинейную функция активации типа гиперболического тангенса

Последующие шаги получают на вход score предыдущего корня и следующее слово последовательности, таким образом пока в сети не будет parse tree сформировано дерево со всеми словами в последовательности.

Деревья могут иметь разную структуру, выбор лучшей подструктуры дерева для сети основывается на их мере . Мера дерева - сумма мер на каждом узле:

После выбора структуры , сеть классифицирует части последовательности. Вероятность принадлежности к классу вектора p вычисляется классификатором с помощью функции Softmax.

Рекуррентная нейронная сеть представляет собой рекурсивную сеть со специфической структурой - в виде линейной цепочки. Рекурсивные сети работают на структурах общего типа, включающих иерархию, рекуррентные сети работают исключительно на линейной прогрессии во времени, связывая предыдущий момент времени со следующим через скрытый нейронный слой .