36
правок
Изменения
→Описание
Рекурсивная нейронная сеть использует следующую формулу для вычисления родительского вектора:
<math>p_{1} = f\left(W[b ; c]+ bias\right)</math>
*<math>b, c</math> - — дочерние векторы
*<math>W</math> — обученная матрица весов, <math>W \in R^{d \times 2d}</math>
*<math>f</math> - — нелинейную функция активации типа гиперболического тангенса *<math>bias</math> - cмещение, оно может быть добавлено в качестве дополнительного столбца к W, если к конкатенации входных векторов добавляется 1. Родительские векторы должны иметь одинаковую размерность, чтобы быть рекурсивно совместимыми и использоваться в качестве входных данных для следующей композиции.
Последующие шаги получают на вход score предыдущего корня и следующее слово последовательности, таким образом пока в сети не будет сформировано дерево со всеми словами в последовательности.
<math>s(x,y) = \sum\limits_{n \in nodes(y)}s_n</math>
После выбора структуры, сеть классифицирует части последовательности. Вероятность принадлежности к классу вектора p вычисляется классификатором с помощью функции Softmax: <math>label_{p} = softmax(W^{label}p)</math> Здесь <math>W^{label}</math> — матрица классификаций.Основной задачей и разницей между моделями будет вычисление скрытых векторов <math>p_i\in R^{d}</math> снизу вверх. ===Алгоритм обратного распространения ошибки===В рекурсивных нейронных сетях используется [[:Обратное_распространение_ошибки|алгоритм обратного распространения ошибки (backpropagation)]] с некоторыми отличиями, вытекающими из древовидной структуры и рекурсии:* Сумма производных матрицы W от всех узлов. Можно предположить, что она разная на каждом узле, однако если взять отдельные производные от каждого вхождения, то получится то же самое.* Разделение производных в каждом узле. Во время прямого распространения, родительский вектор считается через дочерние узлы по формуле выше. Следовательно, ошибки должны быть вычислены относительно каждого из них, причём ошибка каждого дочернего узла является n-мерной
=Рекурсивные и рекуррентные нейронные сети=
