39
правок
Изменения
→RowLSTM
=== RowLSTM ===
[[File:pixel-2.png|350px|thumb|Рисунок 2. Визуализация работы модификаций LSTM. Снизу кружками обозначены пиксели, сверху - состояния на каждом пикселе. Синим обозначено то, что влияет на текущее скрытое состояние. Пустые кружки не принимают участие в вычислениях для данного скрытого состояния]]
В данной модификации [[Долгая краткосрочная память|LSTM]] предлагается рассчитывать скрытое состояние следующим образом: <tex>h_{i,j}=f(h_{i-1,j-1}, h_{i-1,j}, h_{i-1,j+1} x_{i,j})</tex>.
Как видно из формулы и Рисунка 2, значение текущего скрытого состояния не зависит от предыдущего слева, а зависит от предыдущих сверху, которые можно параллельно рассчитать.
Из плюсов данного алгоритма можно отметить его быстродействие - модель обучается быстрее, нежели наивный [[Долгая краткосрочная память|LSTM]]. Из минусов - относительно плохое качество получаемых изображений. Это связанно как минимум с тем, что чем больше становится пикселей, тем сложнее предсказать значение более удаленных от начала пикселей из-за сложности получаемого контекста.
Отсюда напрашивается идея размножить точки старта, чтобы контекст оставался менее сложным и запутанным.
=== Diagonal BiLSTM ===
