Изменения

Здесь про TP, TN, FP, FN и понятия, через них выражающиеся, мы говорим в рамках одного класса бинарной классификации. То есть, в такой системе подразумевается, что реальное количество число объектов класса 0 (для бинарного случая 0/1) может выражаться как <math>\text{TP₀ + FN₀ = FP₁ + TN₁}</math>

[[Файл:F_scores_сomputing.png|thumb|right|150px|Вычисление TP, FP, FN по CM]]— квадратная матрица размера k × k, где <tex>CM_\text{CM}_{t,c}</tex> — число объектов класса <math>t</math>,

<tex>\text{CM}(y, \hat{y})_{t,c} =\displaystyle\sum_{i = 1}^{n}[(y_i = t) ∧ (\hat{y_i} = c)]</tex>, где <tex>y_i</tex> - — реальный класс объекта, а <tex>\hat{y_i}</tex> - — предсказанный.

: <tex>TP_i \text{TP}_i = T_i</tex>: <tex>FP_i \text{FP}_i = \sum\limits_{c \in \text{Classes} F_} \text{F}_{i,c}</tex>: <tex>FN_i \text{FN}_i = \sum\limits_{c \in \text{Classes} F_} \text{F}_{c,i}</tex>: <tex>TN_i \text{TN}_i = \text{All - TP_i TP}_i - FP_i \text{FP}_i - FN_i\text{FN}_i</tex>

: <tex>\text{Acc } = \dfrac{\text{TP + TN}}{\text{TP + TN + FP + FN}}</tex>

: <tex>\text{Recall } = \dfrac{\text{TP}}{\text{TP + FN}}</tex>

: <tex>Prec \text{Precision} = \dfrac{\text{TP}}{\text{TP + FP}}</tex>

: <tex>Spc \text{Specificity} = \dfrac{\text{TN}}{\text{FP + TN}}</tex>

: <tex>\text{FPR } = \dfrac{\text{FP}}{\text{FP + TN}}</tex>

: <tex>Prec_W \text{Precision}_W = \dfrac{\sum\limits_{i = 1}^{Nk} \dfrac{T_i P_i}{C_i}}{\text{All}}</tex>

: <tex>Recall_W \text{Recall}_W = \dfrac{\sum\limits_{i = 1}^{Nk} T_i}{\text{All}}</tex>

: <texmath>A = \dfrac{1}{2} (\text{precision + recall})</texmath>

: <tex>\text{M = min(precision, recall)}</tex>

: <tex>\text{F } = \dfrac{2 ∗ \cdot \text{precision ∗ } \cdot \text{recall}}{\text{precision + recall}}</tex>

'''Геометрическое среднее, или Индекс Фоулкса–Мэллова (Fowlkes–Mallows index)''': <math> \text{FM} = ROC кривая \sqrt{ \dfrac{\text{TP}}{\text{TP + FP}} \cdot \dfrac{\text{TP}}{\text{TP + FN}} }</math>Менее строгая мера. = F-мера =[[Файл:ROCДля общей оценки качества классификатора часто используют F₁-меру.png|thumb|300px|ROC кривая; оранжевым показан идеальный алгоритмОригинально она вычисляется для позитивного класса случая бинарной классификации, фиолетовым — типичныйобобщается с помощью приниципа «‎один против всех» (описан подробнее ниже, а синим для многоклассовой классификации). F₁-мера — худший]]среднее гармоническое между precision и recall:: <tex>\text{F}_1 = \left ( \dfrac{\text{precision}^{-1} + \text{recall}^{-1}}{2} \right )^{-1} = 2 \cdot \dfrac{\text{precision} \cdot \text{recall}}{\text{precision + recall}}</tex>

Среднее гармоническое '''взвешенное''' F_β (F₁-мера — частный случай F_β-меры для β = 1). F_β измеряет эффективность классификатора учитывая recall в β раз более важным чем precision:: <tex>\text{F}_β = (1 + β^2) \dfrac{\text{Precision} \cdot \text{Recall}}{β^2 \cdot \text{Precision + Recall}}</tex> '''F-мера для многоклассовой классификации. Три вида усреднения'''[[Файл:F_scores.png|thumb|400px|Принцип усреднения различных F-мер для нескольких классов]][[Файл:F_scores_сomputing.png|thumb|left|150px|Вычисление TP, FP, FN для многоклассовой классификации]] Для вычисления F-меры (и других) метрик в рамках многоклассовой классификации используется подход «один против всех»: каждый класс ровно один раз становится «положительным»,а остальные — отрицательным (пример вычисления изображён на матрице). Таким образом, в зависимости от этапа вычисления, на котором производится усреднение, можно вычислить micro-average, macro-average и average F-меры (логика вычисления изображена на схеме справа).Микро- и макро-:: <tex>\text{F} = 2 \cdot \dfrac{\text{precision} \cdot \text{recall}}{\text{precision + recall}}</tex>,  где для micro-average precision и recall вычислены из усреднённых TP, FP, FN; для micro-average precision и recall вычислены из усреднённых precision_i, recall_i; Усреднённая:: <math>\text{F} = \dfrac{1}{k} \displaystyle\sum_{i = 0}^{k} {\text{F}_1score_i}</math>,где <math>i</math> — индекс класса, а <math>k</math> — число классов. = ROC-кривая =[[Файл:ROC.png|thumb|300px|ROC-кривая; оранжевым показан идеальный алгоритм, фиолетовым — типичный, а синим — худший]] Для наглядной оценки качества алгоритма применяется [https://ru.wikipedia.org/wiki/ROC-кривая ROC -кривая]. Кривая строится на плоскости, определённой '''TPR''' (по оси ординат) и '''FPR''' (по оси абсцисс).  Для построении графика используется мягкая классификация: вместо того, чтобы чётко отнести объект к классу, классификатор возвращает вероятности принадлежности объекта к различным классам. Эта уверенность сравнивается с порогом (какой уверенности «достаточно», чтобы отнести объект к положительному классу). В зависимости от значения этого порога меняются значения TPR и FPR.

= PrecisionС другой стороны, для построения ROC-кривой не обязательно пересчитывать TPR и FPR.  Существует '''альтернативный алгоритм построения ROC-кривой'''. # сортируем объекты по уверенности классификатора в их принадлежности к положительному классу# начинаем в точке (0, 0)# последовательно продолжаем кривую вверх:#* для каждого «отрицательного» объекта вверх#* для каждого «положительного» — вправо. Корректность алгоритма обосновывается тем, что с изменением предсказания для одного объекта в зависимости от его класса меняется либо TPR, либо FPR (значение второго параметра остаётся прежним). Ниже описана другая логика, подводящая к алгоритму выше. [[Файл:ROC_Algo_Alt_Ex1.png|thumb|left|210px|График Accuracy для идеальной классификации]] [[Файл:ROC_Ex1.png|thumb|right|170px|ROC-Recall кривая =для идеальной классификации]] [[Файл:ROC_Algo_Alt_Ex2.png|thumb|left|210px|График Accuracy для неидеальной классификации]][[Файл:PR_curveROC_Ex2.png|thumb|400pxright|PR 170px|ROC-криваядля неидеальной классификации]]      Напомним, что мы работаем с мягкой классификацией.  Рассмотрим примеры (графики accuracy, цветом указан реальный класс объекта: красный — положительный, синий — отрицательный).Отсортируем наши объекты по возрастанию уверенности классификатора в принадлежности объекта к положительному классу. Допустим, что объекты находятся на равном (единичном) расстоянии друг от друга. Начнём перебирать «границу раздела»: если граница в нуле — мы решаем относить все объекты к положительному классу, тогда accuracy = 1/2. Последовательно сдвигаем границу по единичке вправо:* если реальный класс объекта, оказавшегося теперь по другую сторону границы — отрицательный, то accuracy увеличивается, так как мы «угадали» класс объекта, решив относить объекты левее границы к отрицательному классу;* если же реальный класс объекта — положительный, accuracy уменьшается (по той же логике) Таким образом, на графиках слева, видно, что:* на графике идеальной классификации точность в 100% достигается, неидеальной — нет;* площадь под графиком accuracy идеального классификатора больше, чем аналогичная площадь для неидеального.

'''Обоснование: Чувствительность к соотношению классовЗаметим, что, повернув график на 45 градусов, мы получим ROC-кривые для соответствующих классификаторов (графикам accuracy слева соответствуют ROC-кривые справа). Так объясняется альтернативный алгоритм построения ROC-кривой.'''

Среднее гармоническое '''взвешенное''' F_β (F₁= Precision-мера - частный случай F_β-меры для β Recall кривая = 1). F_β измеряет эффективность классификатора учитывая recall в β раз более важным чем precision[[Файл:: <tex>F_β = (1 + β^2) \dfrac{Prec \cdot Recall}{β^2 \cdot Prec + Recall}</tex>PR_curve.png|thumb|400px|PR кривая]]

'''F-мера для многоклассовой классификацииОбоснование: Чувствительность к соотношению классов.'''[[Файл:F_scores.png|thumb|400px|Принцип усреднения различных F-мер для нескольких классов]][[Файл:F_scores_сomputing.png|thumb|left|150px|Вычисление TP, FP, FN для многоклассовой классификации]]

Для вычисления F-меры Рассмотрим задачу выделения математических статей из множества научных статей. Допустим, что всего имеется 1.000.100 статей, из которых лишь 100 относятся к математике. Если нам удастся построить алгоритм <math>a(и другихx) метрик в рамках многоклассовой классификации используется подход "один против всех": каждый класс ровно один раз становится «положительным»</math>, идеально решающий задачу, то его TPR будет равен единице,а остальные FPR — отрицательным нулю. Рассмотрим теперь «плохой» алгоритм, дающий положительный ответ на 95 математических и 50.000 нематематических статьях. Такой алгоритм совершенно бесполезен, но при этом имеет TPR = 0.95 и FPR = 0.05, что крайне близко к показателям идеального алгоритма.Таким образом, если положительный класс существенно меньше по размеру, то AUC-ROC может давать неадекватную оценку качества работы алгоритма, поскольку измеряет долю неверно принятых объектов относительно общего числа отрицательных. Так, алгоритм <math>b(пример вычисления изображён x)</math>, помещающий 100 релевантных документов на матрице)позиции с 50.001-й по 50.101-ю, будет иметь AUC-ROC 0.95.

Таким образом, в зависимости от этапа вычисления, на котором производится усреднение, можно вычислить micro'''Precison-average, macro-average и average F-меры recall (логика вычисления изображена на схеме справаPR)кривая.Микро- и макро-:: <tex>F = 2 * \dfrac{\text{precision * recall}}{\text{precision + recall}}</tex>, '''

где для microИзбавиться от указанной проблемы с несбалансированными классами можно, перейдя от ROC-кривой к PR-кривой. Она определяется аналогично ROC-average precision кривой, только по осям откладываются не FPR и recall вычислены из усреднённых TPTPR, FP, FN;а полнота (по оси абсцисс) и точность (по оси ординат). Критерием качества семейства алгоритмов выступает '''площадь под PR-кривой''' (англ. '''Area Under the Curve — AUC-PR''')

Усреднённая= Источники =* Coursera:https://www.coursera.org/learn/vvedenie-mashinnoe-obuchenie* [[Оценка качества в задачах классификации и регрессии]]* Лекции А. Забашта* Лекции Е. А. Соколова* [http: <tex>F = \frac{1}{N} \sum_{i=0}^{N} {F_1score_i}</tex>,где <math>i</math> bazhenov.me/blog/2012/07/21/classification-performance- индекс классаevaluation.html Оценка классификатора (точность, полнота, а <math>N</math> F- количество классов.мера)]