Изменения

[[:Рекуррентные_нейронные_сети|Рекуррентные нейронные сети]] добавляют память к искуственным нейронным сетям, но реализуемая память получается короткой {{---}} на каждом шаге обучения информация в памяти смешивается с новой и через несколько итераций полностью перезаписывается. LSTM -модули разработаны специально, чтобы избежать проблемы долговременной зависимости. Запоминание информации , запоминая значения как на короткие, так и на долгие периоды длинные промежутки времени {{---}} это их обычное поведение. Ключом к данной возможности является тоЭто объясняется тем, что LSTM-модуль не использует функцию активации внутри своих рекуррентных компонентов. Таким образом, хранимое значение не размывается во времени и градиент не исчезает при использовании метода обратного распространения ошибки во времени (англ. Backpropagation Through Time, BPTT)<ref name=BPTT_1>[http://andrew.gibiansky.com/blog/machine-learning/recurrent-neural-networks/ Backpropagation Through Time]</ref><ref name=BPTT_2>[http://www.wildml.com/2015/10/recurrent-neural-networks-tutorial-part-3-backpropagation-through-time-and-vanishing-gradients/ Backpropagation Through Time]</ref> при тренировке сети.