Оценка качества в задачах классификации

Материал из Викиконспекты
Версия от 17:48, 9 апреля 2019; Faerytea (обсуждение | вклад) (Простые оценки)
Перейти к: навигация, поиск

Общие понятия

  • TP — true positive, классификатор верно отнёс объект к рассматриваемому классу.
  • TN — true negative, классификатор верно утверждает, что объект не принадлежит к рассматриваемому классу.
  • FP — false positive, классификатор неверно отнёс объект к рассматриваемому классу.
  • FN — false negative, классификатор неверно утверждает, что объект не принадлежит к рассматриваемому классу.

Confusion matrix (матрица несоответствий) наглядно показывает суть этих показателей:

Принадлежит классу (P) Не принадлежит классу (N)
Предсказана принадлежность классу TP FP
Предсказано отсутствие принадлежности к классу FN TN

Простые оценки

  • Accuracy (точность), показывает долю правильных классификаций. Несмотря на очевидность и простоту является одной из самых малоинформативных оценок классификаторов.
[math]Acc = \dfrac{TP + TN}{TP + TN + FP + FN}[/math]
  • Recall (полнота), так же sensitivity и TPR (true positive rate), показывает долю найденных объектов класса к общему числу объектов класса. Иначе говоря то, насколько хорошо наш классификатор находит объекты из класса.
[math]Recall = \dfrac{TP}{TP + FN}[/math]
  • Precision (да, тоже точность), показывает долю объектов класса среди объектов выделенных классификатором.
[math]Prec = \dfrac{TP}{TP + FP}[/math]
  • Fall-out, так же FPR (false positive rate), показывает долю неверных срабатываний классификатора к общему числу объектов за пределами класса. Иначе говоря то, насколько часто классификатор ошибается при отнесении того или иного объекта к классу.
[math]FPR = \dfrac{FP}{FP + TN}[/math]

ROC кривая