Изменения

Здесь про TP, TN, FP, FN и понятия, через них выражающиеся, мы говорим в рамках одного класса бинарной классификации. То есть, в такой системе подразумевается, что реальное количество объектов класса 0 (для бинарного случая 0/1) может выражаться как <math>\text{TP₀ + FN₀ = FP₁ + TN₁}</math>

— квадратная матрица размера k × k, где <tex>CM_\text{CM}_{t,c}</tex> — число объектов класса <math>t</math>,

<tex>\text{CM}(y, \hat{y})_{t,c} =

: <tex>TP_i \text{TP}_i = T_i</tex>: <tex>FP_i \text{FP}_i = \sum\limits_{c \in Classes} F_\text{F}_{i,c}</tex>: <tex>FN_i \text{FN}_i = \sum\limits_{c \in Classes} F_\text{F}_{c,i}</tex>: <tex>TN_i \text{TN}_i = \text{All - TP_i TP}_i - FP_i \text{FP}_i - FN_i\text{FN}_i</tex>

: <tex>\text{Acc } = \dfrac{\text{TP + TN}}{\text{TP + TN + FP + FN}}</tex>

: <tex>\text{Recall } = \dfrac{\text{TP}}{\text{TP + FN}}</tex>

: <tex>Prec \text{Precision} = \dfrac{\text{TP}}{\text{TP + FP}}</tex>

: <tex>Spc \text{Specificity} = \dfrac{\text{TN}}{\text{FP + TN}}</tex>

: <tex>\text{FPR } = \dfrac{\text{FP}}{\text{FP + TN}}</tex>

: <tex>Prec_W \text{Precision}_W = \dfrac{\sum\limits_{i = 1}^{N} \dfrac{T_i P_i}{C_i}}{\text{All}}</tex>

: <tex>Recall_W \text{Recall}_W = \dfrac{\sum\limits_{i = 1}^{N} T_i}{\text{All}}</tex>

: <texmath>A = \dfrac{1}{2} (\text{precision + recall})</texmath>

: <tex>\text{M = min(precision, recall)}</tex>

: <tex>\text{F } = \dfrac{2 ∗ \cdot \text{precision ∗ } \cdot \text{recall}}{\text{precision + recall}}</tex>

= PrecisionС другой стороны, для построения ROC-Recall кривая =[[Файл:PR_curveкривой не обязательно пересчитывать TPR и FPR.png|thumb|400px|PR кривая]]

Существует '''Обоснование: Чувствительность к соотношению классов.альтернативный алгоритм построения ROC-кривой''' .[[Файл:ROC_Algo_Alt_Ex1.png|thumb|left|210px|График Accuracy для идеальной классификации]] [[Файл:ROC_Ex1.png|thumb|right|170px|ROC-кривая для идеальной классификации]] [[Файл:ROC_Algo_Alt_Ex2.png|thumb|left|210px|График Accuracy для неидеальной классификации]][[Файл:ROC_Ex2.png|thumb|right|170px|ROC-кривая для неидеальной классификации]]

Рассмотрим задачу выделения математических статей из множества научных статей. ДопустимНапомню, что всего имеется 1.000.100 статей, из которых лишь 100 относятся к математике. Если нам удастся построить алгоритм <math>a(x)</math>, идеально решающий задачу, то его TPR будет равен единице, а FPR — нулю. Рассмотрим теперь "плохой" алгоритм, дающий положительный ответ на 95 математических и 50.000 нематематических статьях. Такой алгоритм совершенно бесполезен, но при этом имеет TPR = 0.95 и FPR = 0.05, что крайне близко к показателям идеального алгоритма.Таким образом, если положительный класс существенно меньше по размеру, то AUC-ROC может давать неадекватную оценку качества работы алгоритма, поскольку измеряет долю неверно принятых объектов относительно общего числа отрицательных. Так, алгоритм <math>b(x)</math>, помещающий 100 релевантных документов на позиции мы работаем с 50.001-й по 50.101-ю, будет иметь AUC-ROC 0.95мягкой классификацией.

'''Precison-recall Рассмотрим примеры (PR) кривая.''' Избавиться от указанной проблемы с несбалансированными классами можнографики accuracy, перейдя от ROCцветом указан реальный класс объекта: красный -кривой к PRположительный, синий -кривойотрицательный). Она определяется аналогично ROC-кривой, только Отсортируем наши объекты по осям откладываются не FPR и TPRвозрастанию уверенности классификатора в принадлежности объекта к положительному классу. Допустим, а полнота что объекты находятся на равном (по оси абсцисс) и точность (по оси ординатединичном)расстоянии друг от друга. Критерием качества семейства алгоритмов выступает '''площадь под PR-кривой''' (англ. '''Area Under the Curve — AUC-PR''')

Для общей оценки качества классификатора часто используют F₁Заметим, что, повернув график на 45 градусов, мы получим ROC-меру — среднее гармоническое между precision и recall:: <tex>F_1 = \left кривые для соответствующих классификаторов ( \dfrac{Prec^{графикам accuracy слева соответствуют ROC-1} + Recall^{-1}}{2} \right кривые справа)^{-1} = 2 \cdot \dfrac{Prec \cdot Recall}{Prec + Recall}</tex>.

Если брать среднее '''геометрическое''' вместо гармоническогоТаким образом, то получитсяальтернативный алгоритм построения ROC-кривой без пересчета TPR и FPR выглядит так:# сортируем объекты по уверенности классификатора в их принадлежности к положительному классуИндекс Фоулкса–Мэллова # начинаем в точке (Fowlkes–Mallows index0, 0). Менее строгая мера. # последовательно продолжаем кривую вверх: <math> FM = \sqrt{ \dfrac{TP}{TP+FP} \cdot \dfrac{TP}{TP+FN} }</math>#* для каждого "отрицательного" объекта вверх#* для каждого "положительного" - вправо.

Среднее гармоническое '''взвешенное''' F_β (F₁= Precision-мера - частный случай F_β-меры для β Recall кривая = 1). F_β измеряет эффективность классификатора учитывая recall в β раз более важным чем precision[[Файл:: <tex>F_β = (1 + β^2) \dfrac{Prec \cdot Recall}{β^2 \cdot Prec + Recall}</tex>PR_curve.png|thumb|400px|PR кривая]]

'''F-мера для многоклассовой классификацииОбоснование: Чувствительность к соотношению классов.'''[[Файл:F_scores.png|thumb|400px|Принцип усреднения различных F-мер для нескольких классов]][[Файл:F_scores_сomputing.png|thumb|left|150px|Вычисление TP, FP, FN для многоклассовой классификации]]

Для вычисления F-меры Рассмотрим задачу выделения математических статей из множества научных статей. Допустим, что всего имеется 1.000.100 статей, из которых лишь 100 относятся к математике. Если нам удастся построить алгоритм <math>a(и другихx) метрик в рамках многоклассовой классификации используется подход </math>, идеально решающий задачу, то его TPR будет равен единице, а FPR — нулю. Рассмотрим теперь "один против всехплохой": каждый алгоритм, дающий положительный ответ на 95 математических и 50.000 нематематических статьях. Такой алгоритм совершенно бесполезен, но при этом имеет TPR = 0.95 и FPR = 0.05, что крайне близко к показателям идеального алгоритма.Таким образом, если положительный класс ровно один раз становится «положительным»существенно меньше по размеру, то AUC-ROC может давать неадекватную оценку качества работы алгоритма, поскольку измеряет долю неверно принятых объектов относительно общего числа отрицательных. Так,а остальные — отрицательным алгоритм <math>b(пример вычисления изображён x)</math>, помещающий 100 релевантных документов на матрице)позиции с 50.001-й по 50.101-ю, будет иметь AUC-ROC 0.95.

Таким образом, в зависимости от этапа вычисления, на котором производится усреднение, можно вычислить micro'''Precison-average, macro-average и average F-меры recall (логика вычисления изображена на схеме справаPR)кривая.Микро- и макро-:: <tex>F = 2 * \dfrac{\text{precision * recall}}{\text{precision + recall}}</tex>, '''

где для microИзбавиться от указанной проблемы с несбалансированными классами можно, перейдя от ROC-кривой к PR-кривой. Она определяется аналогично ROC-average precision и recall вычислены из усреднённых TPкривой, FP, FN; для micro-average precision только по осям откладываются не FPR и recall вычислены из усреднённых precision_i, recall_i; Усреднённая:: <tex>F = \frac{1}{N} \sum_{i=0}^{N} {F_1score_i}</tex>,где <math>i</math> - индекс классаTPR, а <math>N</math> полнота (по оси абсцисс) и точность (по оси ординат). Критерием качества семейства алгоритмов выступает '''площадь под PR- количество классовкривой''' (англ.'''Area Under the Curve — AUC-PR''')