Изменения

Перейти к: навигация, поиск

PixelRNN и PixelCNN

1244 байта добавлено, 21:07, 22 марта 2020
Идея
=== Идея ===
Т.к. утверждается, что значение текущего пикселя зависит от значений предыдущего, то уместно использовать [[:Рекуррентные_нейронные_сети|RNN]], а точнее [[Долгая краткосрочная память|LSTM]]. В ранних работах уже использовался данный подход, и для вычисление <tex>h_{ij}</tex> - скрытого состояния, необходимы были значения <tex>h_{i-1j}</tex>, <tex>h_{ij-1}</tex>, <tex>x_{ij}</tex>, т.е. для того, чтобы вычислить текущее скрытое состояние, нужно было подсчитать все предыдущие, что занимает достаточно много времени.
 
Авторы алгоритма модернизировали [[Долгая краткосрочная память|LSTM]] таким образом, чтобы стало возможным распараллеливание вычислений, что в итоге положительно сказывается на времени обучения модели.
 
=== Архитектура ===
=== Плюсы и минусы ===
39
правок

Навигация