46
правок
Изменения
→Плохой Soft-Max
Зададим функцию '''soft-max''' таким образом:
Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:
*'''soft-max'''<tex>softmax\left ( a,a,a\right ) = a</tex>*'''soft-max'''<tex>softmax\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>
Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.