Изменения
→Soft-Arg-Max
Есть модель a, возвращающая Li. Необходимо сделать так, чтобы a возвращала pi, при этом оставаясь дифференциируемой.
<tex>y = </tex>soft{-}arg{-}max<tex>\left ( x \right )</tex>, где <tex>y_{i} = \frac{\exp\left ( x_{i} \right )}{\sum_{j}\exp\left ( x_{i} \right )}</tex>
<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
*Вычисляет по вектору чисел вектор с распределением вероятностей.
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате.
*<tex>soft{-}arg{-}max<tex>\left ( x - c,y-c,z-c\right )=</tex>soft{-}arg{-}max<tex>\left ( x,y,z)\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений. При <tex>c=max\left ( x,y,z \right )</tex>
==Soft-Max==
