Просмотр исходного текста страницы Функция потерь и эмпирический риск

'''Функция потерь''' ('''loss function''') — отображение результата работы алгоритма на <tex>R</tex>, показывающее "стоимость" ошибки.

Часто применяются следующие функции потерь (<tex>a : (X → \mathbb R)</tex> — уверенность алгоритма в определённом классе для задач классификации / значение функции для регрессии, <tex>y : (X → Y)</tex> — метки; для бинарного классификатора <tex>Y = \{-1;1\}</tex>):
* 0-1 функция
: <tex>L(a, x) = [a(x) \neq y(x)]</tex>
* Квадратичная функция
: <tex>L(a, x) = (a(x) - y(x))^2</tex>
* Hinge loss
: <tex>L(a, x) = max(0, 1 - a(x) \cdot y(x))</tex>
* Логистическая
: <tex>L(a, x) = \dfrac{ln(1+e^{-y(x)a(x)})}{ln 2}</tex>
* Log loss
: <tex>t(y, x) = \dfrac{1 + y(x)}{2}, L(a, x) = -t \cdot ln (a(x)) - (1-t) \cdot ln (1-a(x))</tex>

Понятие функции потерь тесно связано с эмпирическим риском.

'''Эмпирический риск''' — средняя величина ошибки на обучающей выборке:
: <tex>Q(a, X^m) = \dfrac{1}{m} \sum\limits_{x \in X} L(a, x)</tex>

= Метод минимизации эмпирического риска = 
Логично предположить, что если алгоритм хорошо показывает себя на обучающей выборке, то и на реальных данных он будет работать неплохо. Так подходим к конструктивному методу обучения — методу минимизации эмпирического риска. 
Суть метода, как следует из названия, в минимизации функционала <tex>Q(a, X^m)</tex>:
: <tex>\DeclareMathOperator{\argmin}{argmin} a^{*} = \argmin\limits_{a \in A} Q(a, X^m)</tex>

Метод простой, общий, конструктивный и зачастую сводит задачу обучения к численному поиску минимума в [[Модель_алгоритма_и_её_выбор|модели алгоритма]]. Однако столь пристальное внимание к обучающей выборке приводит к явлению [[Переобучение|переобучения]].