Функция потерь и эмпирический риск

НЕТ ВОЙНЕ

24 февраля 2022 года российское руководство во главе с Владимиром Путиным развязало агрессивную войну против Украины. В глазах всего мира это военное преступление совершено от лица всей страны, всех россиян. Будучи гражданами Российской Федерации, мы против своей воли оказались ответственными за нарушение международного права, военное вторжение и массовую гибель людей. Чудовищность совершенного преступления не оставляет возможности промолчать или ограничиться пассивным несогласием. Мы убеждены в абсолютной ценности человеческой жизни, в незыблемости прав и свобод личности. Режим Путина — угроза этим ценностям. Наша задача — обьединить все силы для сопротивления ей. Эту войну начали не россияне, а обезумевший диктатор. И наш гражданский долг — сделать всё, чтобы её остановить. Антивоенный комитет России

Распространяйте правду о текущих событиях, оберегайте от пропаганды своих друзей и близких. Изменение общественного восприятия войны - ключ к её завершению.

meduza.io, Популярная политика, Новая газета, zona.media, Майкл Наки.

Функция потерь (loss function) — отображение результата работы алгоритма на [math]R[/math], показывающее "стоимость" ошибки.

Часто применяются следующие функции потерь ([math]a : (X → \mathbb R)[/math] — уверенность алгоритма в определённом классе для задач классификации / значение функции для регрессии, [math]y : (X → Y)[/math] — метки; для бинарного классификатора [math]Y = \{-1;1\}[/math]):

• 0-1 функция

[math]L(a, x) = [a(x) \neq y(x)][/math]

• Квадратичная функция

[math]L(a, x) = (a(x) - y(x))^2[/math]

• Hinge loss

[math]L(a, x) = max(0, 1 - a(x) \cdot y(x))[/math]

• Логистическая

[math]L(a, x) = \dfrac{ln(1+e^{-y(x)a(x)})}{ln 2}[/math]

• Log loss

[math]t(y, x) = \dfrac{1 + y(x)}{2}, L(a, x) = -t \cdot ln (a(x)) - (1-t) \cdot ln (1-a(x))[/math]

Понятие функции потерь тесно связано с эмпирическим риском.

Эмпирический риск — средняя величина ошибки на обучающей выборке:

[math]Q(a, X^m) = \dfrac{1}{m} \sum\limits_{x \in X} L(a, x)[/math]

Метод минимизации эмпирического риска

Логично предположить, что если алгоритм хорошо показывает себя на обучающей выборке, то и на реальных данных он будет работать неплохо. Так подходим к конструктивному методу обучения — методу минимизации эмпирического риска. Суть метода, как следует из названия, в минимизации функционала [math]Q(a, X^m)[/math]:

[math]\DeclareMathOperator{\argmin}{argmin} a^{*} = \argmin\limits_{a \in A} Q(a, X^m)[/math]

Метод простой, общий, конструктивный и зачастую сводит задачу обучения к численному поиску минимума в модели алгоритма. Однако столь пристальное внимание к обучающей выборке приводит к явлению переобучения.