Изменения
Нет описания правки
Есть модель a, возвращающая Li. Необходимо сделать так, чтобы a возвращала pi, при этом оставаясь дифференциируемой.
<tex>y =</tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, где <tex>y_{i} = \frac{\exp\left ( x_{i} \right )}{\sum_{j}\exp\left ( x_{i} \right )}</tex>
<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases} & y_{i}\left ( 1 - y_{j} \right ), i = j \\ & -y_{i}\cdot y_{j}, i \neq j \end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>
==Soft-Max==
