Изменения
→Soft-Arg-Max
Есть модель a, возвращающая Li. Необходимо сделать так, чтобы a возвращала pi, при этом оставаясь дифференциируемой.
<tex>y =</tex> '''soft{-}arg{-}max'''<tex>\left ( x \right )</tex>, где <tex>y_{i} = \frac{\exp\left ( x_{i} \right )}{\sum_{j}\exp\left ( x_{i} \right )}</tex>
<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
*soft-arg-max вычисляет по вектору чисел вектор с распределением вероятностей.
*Можно интерпретировать как вероятность нахождения максимума в {{{i}}}-й координате.
*<tex>soft{-}arg{-}max\left ( x - c,y-c,z-c\right )=soft \textendash {-}arg \textendash {-}max\left ( x,y,z)\right )</tex>
==Soft-Max==
