14
правок
Изменения
ROC, AUC
* '''Precision''' (да, тоже точность), показывает долю объектов класса среди объектов выделенных классификатором.
: <tex>Prec = \dfrac{TP}{TP + FP}</tex>
* '''Specificity''', показывает долю верных срабатываний классификатора к общему числу объектов за пределами класса. Иначе говоря то, насколько часто классификатор правильно '''не''' относит объекты к классу.
: <tex>Spc = \dfrac{TN}{FP + TN}</tex>
* '''Fall-out''', так же '''FPR''' (false positive rate), показывает долю неверных срабатываний классификатора к общему числу объектов за пределами класса. Иначе говоря то, насколько часто классификатор ошибается при отнесении того или иного объекта к классу.
: <tex>FPR = \dfrac{FP}{FP + TN}</tex>
= ROC кривая =
Для наглядной оценки качества алгоритма применяется [https://en.wikipedia.org/wiki/Receiver_operating_characteristic ROC кривая]. Кривая строится на плоскости, определённой осями полноты (recall, TPR) по вертикали и частоты ложных срабатываний (FPR, 1-Spc).
Чтобы построить кривую:
# Запустить классификатор на тестовой выборке
# Отсортировать результаты по уверенности классификатора в принадлежности объекта к классу
# Пока не кончились элементы:
## Взять объект с максимальной уверенностью
## Сравнить метку с реальной
## Пересчитать TPR и FPR на взятых объектах
## Поставить точку, если обе характеристики не NaN / ±∞
# Построить кривую по точкам
Таким образом число точек не превосходит число объектов, идеальный алгоритм проходит через точку (0;1), худший (например, монетка) — прямая TPR = FPR.
Для численной же оценки алгоритма по ROC кривой используется значение площади под ней ('''AUC''', area under curve). Таким образом идеальный алгоритм имеет AUC равный 1, а плохой — 0,5.
