Изменения
Нет описания правки
Нужно для этих значений найти такие p1,...pn, что pi из [0, 1], а сумма pi = 1, то есть p1..pn - распределение вероятностей.
Для этого возьмём экспоненту от L1..Ln; Получим числа от [0;+oo] и нормируем их:
Есть модель a, возвращающая Li. Необходимо сделать так, чтобы a возвращала pi, при этом оставаясь дифференциируемой.
==Soft-Arg-Max==
<tex>y = </tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, где <tex>y_{i} = \frac{\exp\left ( x_{i} \right )}{\sum_{j}\exp\left ( x_{i} \right )}</tex>
<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
