1
правка
Изменения
→Различные виды агрегации Precision и Recall
* '''FN''' — false negative: классификатор неверно утверждает, что объект не принадлежит к рассматриваемому классу.
Здесь про TP, TN, FP, FN и понятия, через них выражающиеся, мы говорим в рамках одного класса бинарной классификации. То есть, в такой системе подразумевается, что реальное количество число объектов класса 0 (для бинарного случая 0/1) может выражаться как <math>\text{TP₀ + FN₀ = FP₁ + TN₁}</math>
'''Confusion matrix''' ('''матрица ошибок / несоответствий / потерь, CM''')
[[Файл:F_scores_сomputing.png|thumb|right|150px|Вычисление TP, FP, FN по CM]]— квадратная матрица размера k × k, где <tex>CM_\text{CM}_{t,c}</tex> — число объектов класса <math>t</math>,
которые были квалифицированны как класс <math>c</math>, а <math>k</math> — число классов. Значения ячеек CM могут быть вычислены по формуле:
<tex>\text{CM}(y, \hat{y})_{t,c} =\displaystyle\sum_{i = 1}^{n}[(y_i = t) ∧ (\hat{y_i} = c)]</tex>, где <tex>y_i</tex> - — реальный класс объекта, а <tex>\hat{y_i}</tex> - — предсказанный.
Для бинарного случая:
|}
В этом случае TP, TN, FP и FN считаются относительно некоторого класса <math>(i)</math> следующим образом:
: <tex>TP_i \text{TP}_i = T_i</tex>: <tex>FP_i \text{FP}_i = \sum\limits_{c \in \text{Classes} F_} \text{F}_{i,c}</tex>: <tex>FN_i \text{FN}_i = \sum\limits_{c \in \text{Classes} F_} \text{F}_{c,i}</tex>: <tex>TN_i \text{TN}_i = \text{All - TP_i TP}_i - FP_i \text{FP}_i - FN_i\text{FN}_i</tex>
= Простые оценки =
* '''Accuracy''' — (точность) показывает долю правильных классификаций. Несмотря на очевидность и простоту, является одной из самых малоинформативных оценок классификаторов.
: <tex>\text{Acc } = \dfrac{\text{TP + TN}}{\text{TP + TN + FP + FN}}</tex>
* '''Recall''' — (полнота, '''sensitivity''', '''TPR''' (true positive rate)) показывает отношение верно классифицированных объектов класса к общему числу элементов этого класса.
: <tex>\text{Recall } = \dfrac{\text{TP}}{\text{TP + FN}}</tex>
* '''Precision''' — (точность, перевод совпадает с accuracy)показывает долю верно классифицированных объектов среди всех объектов, которые к этому классу отнес классификатор.
: <tex>Prec \text{Precision} = \dfrac{\text{TP}}{\text{TP + FP}}</tex>
* '''Specificity''' — показывает отношение верных срабатываний классификатора к общему числу объектов за пределами класса. Иначе говоря, то, насколько часто классификатор правильно '''не''' относит объекты к классу.
: <tex>Spc \text{Specificity} = \dfrac{\text{TN}}{\text{FP + TN}}</tex>
* '''Fall-out''' — ('''FPR''' (false positive rate)) показывает долю неверных срабатываний классификатора к общему числу объектов за пределами класса. Иначе говоря то, насколько часто классификатор ошибается при отнесении того или иного объекта к классу.
: <tex>\text{FPR } = \dfrac{\text{FP}}{\text{FP + TN}}</tex>
Ввиду того, что такие оценки никак не учитывают изначальное распределение классов в выборке (что может существенно влиять на полученное значение), также существуют взвешенные варианты этих оценок (в терминах многоклассовой классификации):
* '''Precision'''
: <tex>Prec_W \text{Precision}_W = \dfrac{\sum\limits_{i = 1}^{Nk} \dfrac{T_i P_i}{C_i}}{\text{All}}</tex>
* '''Recall'''
: <tex>Recall_W \text{Recall}_W = \dfrac{\sum\limits_{i = 1}^{Nk} T_i}{\text{All}}</tex>
= Различные виды агрегации Precision и Recall =
''Примеры и картинки взяты из лекций курса «Введение в машинное обучение»<ref>https://web.archive.org/web/20220226120201/https://www.coursera.org/learn/vvedenie-mashinnoe-obuchenie</ref> К.В. Воронцова''
'''Арифметическое среднее:'''
[[Файл:EX1.png|thumb|145px|Линии уровня для среднего арифметического]]
: <texmath>A = \dfrac{1}{2} (\text{precision + recall})</texmath>
* Если precision = 0.05, recall = 1, то A = 0.525
[[Файл:EX2.png|thumb|145px|Линии уровня для минимума]]
: <tex>\text{M = min(precision, recall)}</tex>
* Если precision = 0.05, recall = 1, то M = 0.05
[[Файл:EX3.png|thumb|145px|Линии уровня для F-меры]]
: <tex>\text{F } = \dfrac{2 ∗ \cdot \text{precision ∗ } \cdot \text{recall}}{\text{precision + recall}}</tex>
* Если precision = 0.05, recall = 1, то F = 0.1.
Является наиболее точным усреднением, учитывает оба показателя.
'''Геометрическое среднее, или Индекс Фоулкса–Мэллова (Fowlkes–Mallows index)''': <math> \text{FM} = ROC кривая \sqrt{ \dfrac{\text{TP}}{\text{TP + FP}} \cdot \dfrac{\text{TP}}{\text{TP + FN}} }</math>Менее строгая мера. = F-мера =[[Файл:ROCДля общей оценки качества классификатора часто используют F₁-меру.png|thumb|300px|ROC кривая; оранжевым показан идеальный алгоритмОригинально она вычисляется для позитивного класса случая бинарной классификации, фиолетовым — типичныйобобщается с помощью приниципа «один против всех» (описан подробнее ниже, а синим для многоклассовой классификации). F₁-мера — худший]]среднее гармоническое между precision и recall:: <tex>\text{F}_1 = \left ( \dfrac{\text{precision}^{-1} + \text{recall}^{-1}}{2} \right )^{-1} = 2 \cdot \dfrac{\text{precision} \cdot \text{recall}}{\text{precision + recall}}</tex>
Среднее гармоническое '''взвешенное''' F<sub>β</sub> (F<sub>1</sub>-мера — частный случай F<sub>β</sub>-меры для β = 1). F<sub>β</sub> измеряет эффективность классификатора учитывая recall в β раз более важным чем precision:: <tex>\text{F}_β = (1 + β^2) \dfrac{\text{Precision} \cdot \text{Recall}}{β^2 \cdot \text{Precision + Recall}}</tex> '''F-мера для многоклассовой классификации. Три вида усреднения'''[[Файл:F_scores.png|thumb|400px|Принцип усреднения различных F-мер для нескольких классов]][[Файл:F_scores_сomputing.png|thumb|left|150px|Вычисление TP, FP, FN для многоклассовой классификации]] Для вычисления F-меры (и других) метрик в рамках многоклассовой классификации используется подход «один против всех»: каждый класс ровно один раз становится «положительным»,а остальные — отрицательным (пример вычисления изображён на матрице). Таким образом, в зависимости от этапа вычисления, на котором производится усреднение, можно вычислить micro-average, macro-average и average F-меры (логика вычисления изображена на схеме справа).Микро- и макро-:: <tex>\text{F} = 2 \cdot \dfrac{\text{precision} \cdot \text{recall}}{\text{precision + recall}}</tex>, где для micro-average precision и recall вычислены из усреднённых TP, FP, FN; для micro-average precision и recall вычислены из усреднённых precision<sub>i</sub>, recall<sub>i</sub>; Усреднённая:: <math>\text{F} = \dfrac{1}{k} \displaystyle\sum_{i = 0}^{k} {\text{F}_1score_i}</math>,где <math>i</math> — индекс класса, а <math>k</math> — число классов. = ROC-кривая =[[Файл:ROC.png|thumb|300px|ROC-кривая; оранжевым показан идеальный алгоритм, фиолетовым — типичный, а синим — худший]] Для наглядной оценки качества алгоритма применяется [https://ru.wikipedia.org/wiki/ROC-кривая ROC -кривая]. Кривая строится на плоскости, определённой '''TPR''' (по оси ординат) и '''FPR''' (по оси абсцисс). Для построении графика используется мягкая классификация: вместо того, чтобы чётко отнести объект к классу, классификатор возвращает вероятности принадлежности объекта к различным классам. Эта уверенность сравнивается с порогом (какой уверенности «достаточно», чтобы отнести объект к положительному классу). В зависимости от значения этого порога меняются значения TPR и FPR.
Алгоритм построения кривой:
Для численной оценки алгоритма по ROC-кривой используется значение площади под ней ('''AUC''', area under curve). Идеальный алгоритм имеет AUC, равный 1, худший — 0,5.
'''F-мера для многоклассовой классификацииОбоснование: Чувствительность к соотношению классов.'''[[Файл:F_scores.png|thumb|400px|Принцип усреднения различных F-мер для нескольких классов]][[Файл:F_scores_сomputing.png|thumb|left|150px|Вычисление TP, FP, FN для многоклассовой классификации]]