Изменения

Перейти к: навигация, поиск

Soft-Max и Soft-Arg-Max

26 байт убрано, 18:00, 1 июля 2022
Постановка задачи
<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\left(\exp\left(L_{i}\right)\right)}</tex>
Тогда выполняется следующее: <tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
Есть модель *<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>. Необходимо сделать так, чтобы <tex>a</tex> возвращала после преобразования будет возвращать <tex>p_{i}</tex>, при этом оставаясь дифференциируемойи останется дифференцируемойТогда:
<tex>y = </tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, где <tex>y_{i} = \frac{\exp\left ( x_{i} \right )}{\sum_{j}\exp\left ( x_{i} \right )}</tex>
 
<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
Анонимный участник

Навигация