Soft-Max и Soft-Arg-Max — различия между версиями
(Новая страница: «<tex>y = soft-arg-max\left ( x \right ), где y_{i} = \frac{\exp\left ( x_{i} \right )}{\sum_{j}\exp\left ( x_{i} \right )}</tex>») |
|||
| Строка 1: | Строка 1: | ||
| − | <tex>y = soft-arg-max\left ( x \right ), где y_{i} = \frac{\exp\left ( x_{i} \right )}{\sum_{j}\exp\left ( x_{i} \right )}</tex> | + | Soft-Max и Soft-Arg-Max. Пусть есть задача мягкой классификации: Алгоритм выдает значения L1, L2, ... Ln, где n - число классов. Li - уверенность алгоритма в том, что объект принадлежит классу i; -oo <=Li <= +oo. |
| + | Нужно для этих значений найти такие p1,...pn, что pi из [0, 1], а сумма pi = 1, то есть p1..pn - распределение вероятностей. | ||
| + | Для этого возьмём экспоненту от L1..Ln; Получим числа от [0;+oo] и нормируем их: | ||
| + | pi = exp(Li)/Sum(exp(Li)) | ||
| + | Выполняется следующее: Li <= Lj => Pi <= Pj | ||
| + | |||
| + | Есть модель a, возвращающая Li. Необходимо сделать так, чтобы a возвращала pi, при этом оставаясь дифференциируемой. | ||
| + | <tex>y =</tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, где <tex>y_{i} = \frac{\exp\left ( x_{i} \right )}{\sum_{j}\exp\left ( x_{i} \right )}</tex> | ||
Версия 15:55, 1 июля 2022
Soft-Max и Soft-Arg-Max. Пусть есть задача мягкой классификации: Алгоритм выдает значения L1, L2, ... Ln, где n - число классов. Li - уверенность алгоритма в том, что объект принадлежит классу i; -oo <=Li <= +oo. Нужно для этих значений найти такие p1,...pn, что pi из [0, 1], а сумма pi = 1, то есть p1..pn - распределение вероятностей. Для этого возьмём экспоненту от L1..Ln; Получим числа от [0;+oo] и нормируем их: pi = exp(Li)/Sum(exp(Li)) Выполняется следующее: Li <= Lj => Pi <= Pj
Есть модель a, возвращающая Li. Необходимо сделать так, чтобы a возвращала pi, при этом оставаясь дифференциируемой. soft-arg-max, где
