14
правок
Изменения
Новая страница: «'''Функция потерь''' ('''loss function''') — отображение результата работы алгоритма на <tex>R</tex>, пок…»
'''Функция потерь''' ('''loss function''') — отображение результата работы алгоритма на <tex>R</tex>, показывающее "стоимость" ошибки.
Часто применяются следующие функции потерь (<tex>a : (X → \mathbb R)</tex> — уверенность алгоритма в определённом классе для задач классификации / значение функции для регрессии, <tex>y : (X → Y)</tex> — метки; для бинарного классификатора <tex>Y = \{-1;1\}</tex>):
* 0-1 функция
: <tex>L(a, x) = [a(x) \neq y(x)]</tex>
* Квадратичная функция
: <tex>L(a, x) = (a(x) - y(x))^2</tex>
* Hinge loss
: <tex>L(a, x) = max(0, 1 - a(x) \cdot y(x))</tex>
* Логистическая
: <tex>L(a, x) = \dfrac{ln(1+e^{-y(x)a(x)})}{ln 2}</tex>
* Log loss
: <tex>t(y, x) = \dfrac{1 + y(x)}{2}, L(a, x) = -t \cdot ln (a(x)) - (1-t) \cdot ln (1-a(x))</tex>
Понятие функции потерь тесно связано с эмпирическим риском.
'''Эмпирический риск''' — средняя величина ошибки на обучающей выборке.
: <tex>Q(a, X^m) = \dfrac{1}{m} \sum_{x \in X} L(a, x)</tex>
Часто применяются следующие функции потерь (<tex>a : (X → \mathbb R)</tex> — уверенность алгоритма в определённом классе для задач классификации / значение функции для регрессии, <tex>y : (X → Y)</tex> — метки; для бинарного классификатора <tex>Y = \{-1;1\}</tex>):
* 0-1 функция
: <tex>L(a, x) = [a(x) \neq y(x)]</tex>
* Квадратичная функция
: <tex>L(a, x) = (a(x) - y(x))^2</tex>
* Hinge loss
: <tex>L(a, x) = max(0, 1 - a(x) \cdot y(x))</tex>
* Логистическая
: <tex>L(a, x) = \dfrac{ln(1+e^{-y(x)a(x)})}{ln 2}</tex>
* Log loss
: <tex>t(y, x) = \dfrac{1 + y(x)}{2}, L(a, x) = -t \cdot ln (a(x)) - (1-t) \cdot ln (1-a(x))</tex>
Понятие функции потерь тесно связано с эмпирическим риском.
'''Эмпирический риск''' — средняя величина ошибки на обучающей выборке.
: <tex>Q(a, X^m) = \dfrac{1}{m} \sum_{x \in X} L(a, x)</tex>
