Изменения

Перейти к: навигация, поиск

PixelRNN и PixelCNN

189 байт добавлено, 22:21, 22 марта 2020
RowLSTM
Как видно из формулы и Рисунка 2, значение текущего скрытого состояния не зависит от предыдущего слева, а зависит от предыдущих сверху, которые можно параллельно рассчитать.
Из плюсов данного алгоритма можно отметить его быстродействие - модель обучается быстрее, нежели наивный [[Долгая краткосрочная память|LSTM]]. Из минусов - относительно плохое качество получаемых изображений. Это связанно как минимум с тем, что чем больше становится мы используем контекст пикселейс предыдущей строки, тем сложнее предсказать значение более удаленных от начала пикселей из-за сложности получаемого контекстано никак не используем контекст соседнего слева пикселя, которые является достаточно важным, т.к. является ближайшим с точки зрения построчной генерации изображения.
Отсюда напрашивается идея размножить точки стартакаким-то образом найти скрытое состояние пикселя слева, чтобы контекст оставался менее сложным и запутаннымно при этом не потерять в производительности.
=== Diagonal BiLSTM ===
39
правок

Навигация