101
правка
Изменения
→Внутреннее устройство LSTM
Структура ''LSTM'' блока:
# ''MaskB'' слой ''input-to-state'' <tex>K_{is}</tex> учитывает контекст из входа.
# Сверточный слой ''stateinput-to-state'' <tex>K_{ss}</tex> учитывает контекст из предыдущих скрытых слоев.
Используя эти два сверточных слоя формально вычисление ''LSTM'' блока можно записать следующим образом:
</tex>
где <tex>\sigma</tex> {{---}} функция активации, <tex>\circledast</tex> {{---}} операция свертки, <tex>\odot</tex> {{---}} поэлементное умножение, <tex>f_i</tex> {{---}} вектор вентиля забывания, вес запоминания старой информации, <tex>i_i</tex> {{---}} вектор входного вентиля, вес получения новой информации, <tex>o_i</tex> {{---}} вектор выходного вентиля, кандидат на выход, <tex>g_i</tex> {{---}} вектор вентиля данных, <tex>x_i</tex> {{---}} строка <tex>i</tex> входных данных, <tex>h_i</tex> {{---}} вектор краткосрочной памяти, <tex>c_i</tex> {{---}} вектор долгосрочной памяти, <tex>K_{is}</tex> и <tex>K_{ss}</tex> {{---}} ядерные веса компонент ''input-to-state'' и ''input-to-state'' соответственно.
=== Архитектура PixelRNN ===
