Оценка качества в задачах классификации

Общие понятия

• TP — true positive, классификатор верно отнёс объект к рассматриваемому классу.
• TN — true negative, классификатор верно утверждает, что объект не принадлежит к рассматриваемому классу.
• FP — false positive, классификатор неверно отнёс объект к рассматриваемому классу.
• FN — false negative, классификатор неверно утверждает, что объект не принадлежит к рассматриваемому классу.

Confusion matrix (матрица несоответствий) наглядно показывает суть этих показателей:

	Принадлежит классу (P)	Не принадлежит классу (N)
Предсказана принадлежность классу	TP	FP
Предсказано отсутствие принадлежности к классу	FN	TN

Простые оценки

• Accuracy (точность), показывает долю правильных классификаций. Несмотря на очевидность и простоту является одной из самых малоинформативных оценок классификаторов.

[math]Acc = \dfrac{TP + TN}{TP + TN + FP + FN}[/math]

• Recall (полнота), так же sensitivity и TPR (true positive rate), показывает долю найденных объектов класса к общему числу объектов класса. Иначе говоря то, насколько хорошо наш классификатор находит объекты из класса.

[math]Recall = \dfrac{TP}{TP + FN}[/math]

• Precision (да, тоже точность), показывает долю объектов класса среди объектов выделенных классификатором.

[math]Prec = \dfrac{TP}{TP + FP}[/math]

• Fall-out, так же FPR (false positive rate), показывает долю неверных срабатываний классификатора к общему числу объектов за пределами класса. Иначе говоря то, насколько часто классификатор ошибается при отнесении того или иного объекта к классу.

[math]FPR = \dfrac{FP}{FP + TN}[/math]