162
правки
Изменения
Нет описания правки
Выходом данного слоя будет являтся вектор <math>s</math> (англ. ''score'') {{---}} оценки на основании которых на скрытое состояние <math>h_i</math> будет "обращено внимание".
Далее для нормализации значений <math>s</math> используется <math>softmax</math><ref>[https://ru.wikipedia.org/wiki/Softmax | Функция softmax {{--}} Википедия]</ref>. Тогда <math>e = softmax(s)</math>
<math>softmax</math> здесь используется благодоря своим свойствам:
