Функция потерь и эмпирический риск

Функция потерь (loss function) — отображение результата работы алгоритма на [math]R[/math], показывающее "стоимость" ошибки.

Часто применяются следующие функции потерь ([math]a : (X → \mathbb R)[/math] — уверенность алгоритма в определённом классе для задач классификации / значение функции для регрессии, [math]y : (X → Y)[/math] — метки; для бинарного классификатора [math]Y = \{-1;1\}[/math]):

• 0-1 функция

[math]L(a, x) = [a(x) \neq y(x)][/math]

• Квадратичная функция

[math]L(a, x) = (a(x) - y(x))^2[/math]

• Hinge loss

[math]L(a, x) = max(0, 1 - a(x) \cdot y(x))[/math]

• Логистическая

[math]L(a, x) = \dfrac{ln(1+e^{-y(x)a(x)})}{ln 2}[/math]

• Log loss

[math]t(y, x) = \dfrac{1 + y(x)}{2}, L(a, x) = -t \cdot ln (a(x)) - (1-t) \cdot ln (1-a(x))[/math]

Понятие функции потерь тесно связано с эмпирическим риском.

Эмпирический риск — средняя величина ошибки на обучающей выборке:

[math]Q(a, X^m) = \dfrac{1}{m} \sum\limits_{x \in X} L(a, x)[/math]

Метод минимизации эмпирического риска

Логично предположить, что если алгоритм хорошо показывает себя на обучающей выборке, то и на реальных данных он будет работать неплохо. Так подходим к конструктивному методу обучения — методу минимизации эмпирического риска. Суть метода, как следует из названия, в минимизации функционала [math]Q(a, X^m)[/math]:

[math]\DeclareMathOperator{\argmin}{argmin} a^{*} = \argmin\limits_{a \in A} Q(a, X^m)[/math]

Метод простой, общий, конструктивный и зачастую сводит задачу обучения к численному поиску минимума в модели алгоритма. Однако столь пристальное внимание к обучающей выборке приводит к явлению переобучения.