Изменения
→Soft-Arg-Max
*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой.
*<tex>p = </tex> '''soft-arg-max'''<tex>\left ( L \right )</tex>
Пусть <tex>y = </tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, где <tex>y_{i} = \frac{\exp\left ( x_{i} \right )}{\sum_{j}\exp\left ( x_{i} \right )}</tex>тогда:
<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
