Функция потерь и эмпирический риск — различия между версиями

Материал из Викиконспекты
Перейти к: навигация, поиск
м (rollbackEdits.php mass rollback)
 
Строка 1: Строка 1:
{| class="wikitable" align="center" style="color: red; background-color: black; font-size: 56px; width: 800px;"
 
|+
 
|-align="center"
 
|'''НЕТ ВОЙНЕ'''
 
|-style="font-size: 16px;"
 
|
 
24 февраля 2022 года российское руководство во главе с Владимиром Путиным развязало агрессивную войну против Украины. В глазах всего мира это военное преступление совершено от лица всей страны, всех россиян.
 
 
Будучи гражданами Российской Федерации, мы против своей воли оказались ответственными за нарушение международного права, военное вторжение и массовую гибель людей. Чудовищность совершенного преступления не оставляет возможности промолчать или ограничиться пассивным несогласием.
 
 
Мы убеждены в абсолютной ценности человеческой жизни, в незыблемости прав и свобод личности. Режим Путина — угроза этим ценностям. Наша задача — обьединить все силы для сопротивления ей.
 
 
Эту войну начали не россияне, а обезумевший диктатор. И наш гражданский долг — сделать всё, чтобы её остановить.
 
 
''Антивоенный комитет России''
 
|-style="font-size: 16px;"
 
|Распространяйте правду о текущих событиях, оберегайте от пропаганды своих друзей и близких. Изменение общественного восприятия войны - ключ к её завершению.
 
|-style="font-size: 16px;"
 
|[https://meduza.io/ meduza.io], [https://www.youtube.com/c/popularpolitics/videos Популярная политика], [https://novayagazeta.ru/ Новая газета], [https://zona.media/ zona.media], [https://www.youtube.com/c/MackNack/videos Майкл Наки].
 
|}
 
 
 
'''Функция потерь''' ('''loss function''') — отображение результата работы алгоритма на <tex>R</tex>, показывающее "стоимость" ошибки.
 
'''Функция потерь''' ('''loss function''') — отображение результата работы алгоритма на <tex>R</tex>, показывающее "стоимость" ошибки.
  

Текущая версия на 19:27, 4 сентября 2022

Функция потерь (loss function) — отображение результата работы алгоритма на [math]R[/math], показывающее "стоимость" ошибки.

Часто применяются следующие функции потерь ([math]a : (X → \mathbb R)[/math] — уверенность алгоритма в определённом классе для задач классификации / значение функции для регрессии, [math]y : (X → Y)[/math] — метки; для бинарного классификатора [math]Y = \{-1;1\}[/math]):

  • 0-1 функция
[math]L(a, x) = [a(x) \neq y(x)][/math]
  • Квадратичная функция
[math]L(a, x) = (a(x) - y(x))^2[/math]
  • Hinge loss
[math]L(a, x) = max(0, 1 - a(x) \cdot y(x))[/math]
  • Логистическая
[math]L(a, x) = \dfrac{ln(1+e^{-y(x)a(x)})}{ln 2}[/math]
  • Log loss
[math]t(y, x) = \dfrac{1 + y(x)}{2}, L(a, x) = -t \cdot ln (a(x)) - (1-t) \cdot ln (1-a(x))[/math]

Понятие функции потерь тесно связано с эмпирическим риском.

Эмпирический риск — средняя величина ошибки на обучающей выборке:

[math]Q(a, X^m) = \dfrac{1}{m} \sum\limits_{x \in X} L(a, x)[/math]

Метод минимизации эмпирического риска

Логично предположить, что если алгоритм хорошо показывает себя на обучающей выборке, то и на реальных данных он будет работать неплохо. Так подходим к конструктивному методу обучения — методу минимизации эмпирического риска. Суть метода, как следует из названия, в минимизации функционала [math]Q(a, X^m)[/math]:

[math]\DeclareMathOperator{\argmin}{argmin} a^{*} = \argmin\limits_{a \in A} Q(a, X^m)[/math]

Метод простой, общий, конструктивный и зачастую сводит задачу обучения к численному поиску минимума в модели алгоритма. Однако столь пристальное внимание к обучающей выборке приводит к явлению переобучения.