Изменения

=== Матрица ошибок (англ. Сonfusion matrix (матрица ошибок) ===

Перед переходом к самим метрикам необходимо ввести важную концепцию для описания этих метрик в терминах ошибок классификации — [[матрица ошибок|confusion matrix]] (матрица ошибок).

* Некредитоспособный заёмщик классифицирован как некредитоспособный, т.е. положительный класс распознан как положительный. Наблюдения, для которых это имеет место называются '''истинно-положительными ''' ([[true positive]] '''True Positive''' {{- --}} '''TP''').* Кредитоспособный заёмщик классифицирован как кредитоспособный, т.е. отрицательный класс распознан как отрицательный. Наблюдения, которых это имеет место, называются '''истинно отрицательными ''' ([[true negative]] '''True Negative''' {{--- }} '''TN''').* Кредитоспособный заёмщик классифицирован как некредитоспособный, т.е. имела место ошибка, в результате которой отрицательный класс был распознан как положительный. Наблюдения, для которых был получен такой исход классификации, называются '''ложно-положительными ''' ([[false positive]] '''False Positive''' {{--- }} '''FP'''), а ошибка классификации называется '''ошибкой I рода'''.* Некредитоспособный заёмщик распознан как кредитоспособный, т.е. имела место ошибка, в результате которой положительный класс был распознан как отрицательный. Наблюдения, для которых был получен такой исход классификации, называются '''ложно-отрицательными ''' ([[false negative]] '''False Negative''' {{--- }} '''FN'''), а ошибка классификации называется '''ошибкой II рода'''.

[[Файл:Confusion_matrix.png{|500px]]class="wikitable" style="text-align: center"||<math>y = 1</math>|<math>y = 0</math>|-|<math>a ( x ) = 1</math>|Истинно-положительный ('''True Positive — TP''')|Ложно-положительный ('''False Positive — FP''')|-|<math>a ( x ) = 0</math>|Ложно-отрицательный ('''False Negative — FN''')|Истинно-отрицательный ('''True Negative — TN''')|}

Таким образом, ошибки классификации бывают двух видов: '''False Negative ''' ('''FN''') и '''False Positive ''' ('''FP''').'''P''' означает что классификатор определяет класс объекта как положительный ('''N''' {{---}} отрицательный). '''T''' значит что класс предсказан правильно (соответственно '''F''' {{---}} неправильно). Каждая строка в матрице ошибок представляет фактический спрогнозированный класс, а каждый столбец {{- спрогнозированный --}} фактический класс.

'''importfrom''' pandas sklearn.linear_model '''asimport''' pdSGDClassifier mnist = fetch_openml('mnist_784''n , version=1) X, y = mnist["data"], mnist["target"] y = confusion_matrixy.astype(np.uint8) X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], ay[60000:] y_train_5 = (y_train == 5) <font color="green"># 1-й способTrue для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</font> y_test_5 = (y_test == 5) '''n sgd_clf = SGDClassifier(random_state=42)<font color= pd"green"> # классификатор на основе метода стохастического градиентного спуска (англ.crosstabStochastic Gradient Descent SGD)</font> sgd_clf.fit(yX_train, ay_train_5) <font color="green"># 2-й способобучаем классификатор распозновать пятерки на целом обучающем наборе</font> '''<font color="green"># Вычисление TN, FP, FNДля расчета матрицы ошибок сначала понадобится иметь набор прогнозов, TP чтобы их можно было сравнивать с фактическими целями</font> '''TNy_train_pred = cross_val_predict(sgd_clf, FPX_train, FNy_train_5, TP cv= 3) print(confusion_matrix(yy_train_5, ay_train_pred).ravel) <font color="green"># array([[53892, 687], # [ 1891, 3530]])</font>

'''import''' numpy '''as''' np '''from''' sklearn.datasets '''import''' fetch_openml '''from''' sklearn.metrics '''import''' confusion_matrix mnist =fetch_openml('mnist_784', version=1) X, y = Accuracy mnist["data"], mnist["target"] y =y.astype(np.uint8) X_train, X_test, y_train, y_test =X[:60000], X[60000:], y[:60000], y[60000:] y_train_5 =(y_train == 5) <font color="green"># True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</font> y_test_5 = (y_test == 5) y_train_perfect_predictions = y_train_5 <font color="green"># притворись, что мы достигли совершенства</font> print(confusion_matrix(y_train_5, y_train_perfect_predictions)) <font color="green"># array([[54579, 0], # [ 0, 5421]])</font>

[[ФайлИнтуитивно понятной, очевидной и почти неиспользуемой метрикой является ''accuracy'' — доля правильных ответов алгоритма:acc.png|300px]] : <math>accuracy = \dfrac{TP+TN}{TP+TN+FP+FN}</math>

Эта метрика бесполезна в задачах с неравными классами, что как вариант можно исправить с помощью [[алгоритмы сэмплирования|алгоритмов сэмплирования]] и это легко показать на примере.

[[Файл:acc1.png|300px]]<math>accuracy = \dfrac{5+90}{5+90+10+5} = 86,4</math>

Однако если мы просто будем предсказывать все письма как не-спам, то получим более высокую accuracy''аккуратность'':

[[Файл:acc2.png|300px]]<math>accuracy = \dfrac{0+100}{0+100+0+10} = 90,9</math>

<font color="green"># код для для подсчета аккуратности:</font> <font color="green">'''# Пример классификатора, способного проводить различие между всего лишь двумя '''# классами, "пятерка" и "не пятерка" из набора рукописных цифр MNIST</font> '''import''' numpy '''as''' np '''from''' sklearn.datasets '''import''' fetch_openml '''from''' sklearn.model_selection '''import''' cross_val_predict '''from''' sklearn.metrics '''import''' accuracy_score '''from''' sklearn.linear_model '''import''' SGDClassifier mnist = Precision fetch_openml('mnist_784', version=1) X, y =mnist["data"], mnist["target"] y =y.astype(np.uint8) X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], y[60000:] y_train_5 = (y_train == 5)<font color="green"> # True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</font> y_test_5 = (y_test == 5) sgd_clf = SGDClassifier(random_state=42) <font color="green"># классификатор на основе метода стохастического градиентного спуска (Stochastic Gradient Descent SGD)</font> sgd_clf.fit(X_train, y_train_5) <font color="green"># обучаем классификатор распозновать пятерки на целом обучающем наборе</font> y_train_pred = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3) <font color="green"># print(confusion_matrix(y_train_5, y_train_pred)) # array([[53892, 687] # [ 1891, 3530]])</font> print(accuracy_score(y_train_5, y_train_pred))<font color="green"> # == (53892 + 3530) / (53892 + 3530 + 1891 +687)</font> <font color="green"># 0.9570333333333333</font>

=== Точность (англ. Precision (точностью) называется доля правильных ответов модели в пределах класса – это доля объектов действительно принадлежащих данному классу относительно всех объектов которые система отнесла к этому классу.===

[[Файл:precТочностью (''precision'') называется доля правильных ответов модели в пределах класса {{---}} это доля объектов действительно принадлежащих данному классу относительно всех объектов которые система отнесла к этому классу.png|250px]]

Rand Precision = \dfrac{TP+FN}{TP+TN+FP+FN}

=== Индекс Adjusted Rand ===:<math>\overbrace{ARI}^\text{Adjusted Index} = \frac{ \overbrace{\sum_{ij} \binom{n_{ij}}{2}}^\text{Index} - \overbrace{[\sum_i \binom{a_i}{2} \sum_j \binom{b_j}{2}] / \binom{n}{2}}^\text{Expected Index} }{ \underbrace{\frac{1}{2} [\sum_i \binom{a_i}{2} + \sum_j \binom{b_j}{2}]}_\text{Max Index} - \underbrace{[\sum_i \binom{a_i}{2} \sum_j \binom{b_j}{2}] / \binom{n}{2}}_\text{Expected Index} }</math>где <math>n_{ij}Именно введение ''precision'' не позволяет нам записывать все объекты в один класс, a_i, b_j</math> {{---}} значения из таблицы сопряженноститак как в этом случае мы получаем рост уровня ''False Positive''.

В отличие от обычного [[{{NAMESPACE}}:{{PAGENAME}}#Индекс_Rand|индекса Rand]], индекс Adjusted Rand может принимать отрицательные значения, если <math>Index < Expected Index</math>=== Полнота (англ.Recall) ===

=== Индекс Жаккара (англ. Jaccard Index) ===Индекс Жаккара похож на [[#Индекс_Rand|Индекс Rand]], только не учитывает пары элементов находящиеся в разные классах и разных кластерах (<math>FN</math>).: <math>Jaccard = \dfrac{TP}{TP+TN+FP}</math>Имеет область определения от 0 до 1, где 1 Полнота {{---}} полное совпадение кластеров с заданными классамиэто доля истинно положительных классификаций. Полнота показывает, какую долю объектов, а 0 {{---}} отсутствие совпаденийреально относящихся к положительному классу, мы предсказали верно.

FM Recall = \sqrt{ \dfrac{TP}{TP+TN} \cdot \dfrac{TP}{TP+FP} FN}

=== Hubert Г statistic ===Данная мера отражает среднее расстояние между объектами разных кластеров:: <math>Г = \dfrac{1}{M} \sum \limits_{i=1}^{N-1} \sum \limits_{i=i+1}^{N} PПолнота (i, j''recall'') \cdot Q(i, j),</math>где <math>M = n*(n-1)/2</math>, <math>P(i, j)</math> {{---}} матрица близости, а: <math>Q(i, j) = \begin{cases} 0, & \mbox{если x(i) и x(j) лежат в одном кластере} \\ 1, & \mbox{в другом случае } \\\end{cases}</math>Можно заметить, что два объекта влияют на <math>Г</math>, только если они находятся в разных кластерахдемонстрирует способность алгоритма обнаруживать данный класс вообще.

Чем больше значение меры Имея матрицу ошибок, очень просто можно вычислить точность и полноту для каждого класса. Точность (''precision'') равняется отношению соответствующего диагонального элемента матрицы и суммы всей строки класса. Полнота (''recall'') {{---}} тем лучшеотношению диагонального элемента матрицы и суммы всего столбца класса.Формально:

\Phi Precision_c = \dfrac{ TP A_{c,c}}{\times FN - TN sum \times FP limits_{i=1}^{ (TP + TN)(TP + FP)(FN + FP)(FN + TN) n} A_{c,i}}

MS Recall_c = \dfrac{ \sqrt{ \sum_i \binomA_{a_ic,c}{2} + \sum_j \binom{b_i}{2} - 2\sum_{ij} sum \binomlimits_{ n_{ij} }{ 2 } } i=1}^{ \sqrt{ \sum_j \binom{b_in}A_{2} i,c} }

Результирующая точность классификатора рассчитывается как арифметическое среднее его точности по всем классам. То же самое с полнотой. Технически этот подход называется '''macro-averaging'''.  <font color="green"># код для для подсчета точности и полноты: '''# Пример классификатора, способного проводить различие между всего лишь двумя '''# классами, "пятерка" и "не пятерка" из набора рукописных цифр MNIST</font> '''import''' numpy '''as''' np '''from''' sklearn.datasets '''import''' fetch_openml '''from''' sklearn.model_selection '''import''' cross_val_predict '''from''' sklearn.metrics '''import''' precision_score, recall_score '''from''' sklearn.linear_model '''import''' SGDClassifier mnist =fetch_openml('mnist_784', version=1) X, y = mnist["data"], mnist["target"] y = y.astype(np.uint8) X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], y[60000:] y_train_5 = (y_train == 5) <font color="green"># True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</font> y_test_5 = (y_test == 5) sgd_clf = SGDClassifier(random_state=42)<font color= Индекс Гудмэна-Крускала "green"> # классификатор на основе метода стохастического градиентного спуска (англStochastic Gradient Descent SGD)</font> sgd_clf. Goodman-Kruskal Indexfit(X_train, y_train_5) <font color="green"># обучаем классификатор распозновать пятерки на целом обучающем наборе</font> y_train_pred =cross_val_predict(sgd_clf, X_train, y_train_5, cv=3) <font color="green"># print(confusion_matrix(y_train_5, y_train_pred)): # array([[53892, 687] # [ 1891, 3530]])</font> print(precision_score(y_train_5, y_train_pred)) <font color="green"># == 3530 / (3530 + 687)<math/font>GK print(recall_score(y_train_5, y_train_pred)) <font color= \sum_i p_i"green"># == 3530 / (1 - \max_j \dfrac{ p_{ij} }{ p_i }3530 + 1891)</font> <font color="green"># 0.8370879772350012 # 0.6511713705958311</mathfont>

=== Entropy =F-мера (англ. F-score) ==Энтропия измеряет "чистоту" меток классов:: <math>E = - \sum_i p_i ( \sum_j \dfrac{ p_{ij} }{ p_i } log( \dfrac{ p_{ij} }{ p_i } ) )</math>

Стоит отметить''Precision'' и ''recall'' не зависят, в отличие от ''accuracy'', от соотношения классов и потому применимы в условиях несбалансированных выборок.Часто в реальной практике стоит задача найти оптимальный (для заказчика) баланс между этими двумя метриками. Понятно что если все кластера состоят из объектов одного классачем выше точность и полнота, тем лучше. Но в реальной жизни максимальная точность и полнота не достижимы одновременно и приходится искать некий баланс. Поэтому, то энтропия равна 0хотелось бы иметь некую метрику которая объединяла бы в себе информацию о точности и полноте нашего алгоритма. В этом случае нам будет проще принимать решение о том какую реализацию запускать в производство (у кого больше тот и круче). Именно такой метрикой является ''F-мера''.

=== Purity ===Чистота ставит в соответствие кластеру самый многочисленный в этом кластере классF-мера представляет собой [https://ru.wikipedia. : <math>P = \sum_i p_i ( \max_j \dfrac{ p_{ij} }{ p_i } )<org/wiki/math>%D0%A1%D1%80%D0%B5%D0%B4%D0%BD%D0%B5%D0%B5_%D0%B3%D0%B0%D1%80%D0%BC%D0%BE%D0%BD%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5 гармоническое среднее] между точностью и полнотой. Она стремится к нулю, если точность или полнота стремится к нулю.

Чистота находится в интервале [0, 1], причём значение : <math> F = 1 отвечает оптимальной кластеризации.\dfrac{ 2 \times precision \times recall }{ precision + recall }</math>

=== Данная формула придает одинаковый вес точности и полноте, поэтому F-мера ===будет падать одинаково при уменьшении и точности и полноты. Возможно рассчитать ''F-мера представляет собой гармоническое среднее между точностью (precision) меру'' придав различный вес точности и полнотой (recall).полноте, если вы осознанно отдаете приоритет одной из этих метрик при разработке алгоритма: <math>F = \sum_j p_j \max_i \big\lbrack 2 \dfrac{ p_{ij} }{ p_i } \dfrac{ p_{ij} }{ p_j } \big/ (\dfrac{ p_{ij} }{ p_i } + \dfrac{ p_{ij} }{ p_j }) \big\rbrack</math>

VI F_β = - \sum_i p_i \log p_i - \sum_i p_j log p_j - dfrac{(1+β^2 ) \sum_i times precision \sum_j p_times recall }{ij} \log (β^2 \dfrac{ p_{ij} }{ p_i p_j times precision) + recall }

где <math>β</math> принимает значения в диапазоне <math>0<β<1</math> если вы хотите отдать приоритет точности, а при <math>β>1</math> приоритет отдается полноте. При <math>β== Внутренние меры оценки качества ==Данные меры оценивают качество структуры кластеров опираясь только непосредственно на нее, не используя внешней информации1</math> формула сводится к предыдущей и вы получаете сбалансированную F-меру (также ее называют <math>F_1</math>).

Таким образом<div><ul> <li style="display: inline-block;"> [[Файл:F_balanc.jpg|thumb|none|450px|Рис.1 Сбалансированная F-мера, необходимо минимизировать внутриклассовое расстояние, например, сумму квадратов отклонений<math>β=1</math>]] </li><li style="display:inline-block;"> [[Файл: F_prior_Prec.jpg|thumb|none|450px|Рис.2 F-мера c приоритетом точности, <math>WSS β^2= \sum \limits_dfrac{j=1}^{M4 } \sum \limits_{i </math>]] </li><li style= 1}^{"display: inline-block;"> [[Файл:F_prior_Recal.jpg|thumb|none|C_j450px|} (x_{ij} Рис.3 F- \overline{x_j})мера c приоритетом полноты, <math>β^2=2</math>, где ]] </li><math/ul>M</mathdiv> {{---}} количество кластеров.

=== Отделимость кластеров (англ. Cluster Separation) ===В данном случае идея противоположная {{''F---}} чем дальше друг от друга находятся объекты разных кластеровмера'' достигает максимума при максимальной полноте и точности, и близка к нулю, тем лучшеесли один из аргументов близок к нулю.

Поэтому здесь стоит задача максимизации суммы квадратов отклонений''F-мера'' является хорошим кандидатом на формальную метрику оценки качества классификатора. Она сводит к одному числу две других основополагающих метрики:точность и полноту. Имея "F-меру" гораздо проще ответить на вопрос: <math>BSS = n \cdot \sum \limits_{j=1}^{M} (\overline{x_{j}} - \overline{x})^2</math>, где <math>M</math> {{---}} количество кластеров."поменялся алгоритм в лучшую сторону или нет?"

<font color=== Индекс Данна (англ. Dunn Index) ==="green"># код для подсчета метрики F-mera:Индекс Данна имеет множество вариаций '''# Пример классификатора, оригинальная версия выглядит следующим образом:способного проводить различие между всего лишь двумя: '''# классами, "пятерка" и "не пятерка" из набора рукописных цифр MNIST<math/font>D '''import''' numpy '''as''' np '''from''' sklearn.datasets '''import''' fetch_openml '''from''' sklearn.model_selection '''import''' cross_val_predict '''from''' sklearn.linear_model '''import''' SGDClassifier '''from''' sklearn.metrics '''import''' f1_score mnist = fetch_openml(C'mnist_784', version=1) X, y = \dfrac{ min_{c_k \in C} \{ min_{c_l \in C \setminus c_k} \{ \delta(c_kmnist["data"], c_l) \} \} }{ max_{c_k \in C} \{ \Deltamnist["target"] y = y.astype(c_knp.uint8) \} } </math> X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000],гдеy[60000:]: y_train_5 = (y_train == 5)<mathfont color="green">\delta# True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</mathfont> {{---}} межкластерное расстояние y_test_5 = (оценка разделенияy_test == 5) sgd_clf = SGDClassifier(random_state=42), <mathfont color="green">\delta# классификатор на основе метода стохастического градиентного спуска (c_k, c_lStochastic Gradient Descent SGD) = min_{x_i \in c_k, x_j \in c_l} \|x_i - x_j\|</mathfont> sgd_clf.fit(X_train,: y_train_5) <mathfont color="green">\Delta(c_k)# обучаем классификатор распознавать пятерки на целом обучающем наборе</mathfont> {{---}} диаметр кластера y_train_pred = cross_val_predict(оценка сплоченностиsgd_clf, X_train, y_train_5, cv=3) print(f1_score(y_train_5, y_train_pred)) <mathfont color="green">\Delta(c_k) = max_{x_i,x_j \in c_k} \|x_i - x_j\|# 0.7325171197343846</mathfont>.

=== Обобщенный Индекс Данна (gD31, gD41, gD51, gD33, gD43, gD53) ROC-кривая ===Все эти вариации являются комбинациями 3 вариантов вычисления оценки разделения <math>\delta</math> и оценки компактности <math>\Delta</math>

Оценки разделения:'''Кривая рабочих характеристик''' (англ. '''Receiver Operating Characteristics curve'''). Используется для анализа поведения классификаторов при различных пороговых значениях. Позволяет рассмотреть все пороговые значения для данного классификатора. : <math>\delta^3Показывает долю ложно положительных примеров (c_kангл. '''false positive rate, c_lFPR''') = \dfrac{1}{|c_k| * |c_l|} \sum_{x_i \in c_k} \sum_{x_j \in c_l} \|x_i - x_j\| </math>в сравнении с долей истинно положительных примеров (англ. '''true positive rate,TPR''').

[[Файл: <math>\delta^4(c_k, c_l) = \|\overline{c_k} - \overline{c_l}\| </math>,ROC_2.png]]

: <math>\delta^5(c_k, c_l) TPR = \dfrac{1TP}{|c_k| TP+ |c_l|FN} (\sum_{x_i \in c_k} \|x_i - \overline{c_k}\| + \sum_{x_j \in c_l} \|x_j - \overline{c_l}\|) = Recall</math>.

Оценки компактности:: <math>\Delta^1(c_k) FPR = \Delta(c_k) dfrac{FP}{FP+TN} </math>,

: <math>\Delta^3(c_k) = \dfracДоля '''FPR''' {2}{|c_k|} \sum_{x_i \in c_k---} \|x_i - \overline{c_k}\| </math>это пропорция отрицательных образцов, которые были некорректно классифицированы как положительные.

Обобщенный индекс Данна: <math> FPR = 1 - TNR</math>, как и обычный, должен возрастать вместе с улучшением качества кластеризации.

: <math>\ \|x\| = Доля '''TNR''' также называется '''специфичностью''' (x^Txангл. '''specificity''')^. Следовательно, ROC-кривая изображает '''чувствительность''' (англ. '''seпsitivity'''), т.е. полноту, в срав­нении с разностью '''1/2) </math>- specificity'''.

: <math> \sigmaОдин из способов сравнения классификаторов предусматривает измере­ние '''площади под кривой''' (X) = \dfracангл. '''Area Under the Curve {1}{|X|---} \sum_{x_i \in X} AUC'''). Безупречный клас­сификатор будет иметь площадь под ROC-кривой (x_i '''ROC- \overline{x}AUC''') ^ 2 </math>,равную 1, тогда как чисто случайный классификатор - площадь 0.5.

<font color="green"># Код отрисовки ROC-кривой '''# На примере классификатора, способного проводить различие между всего лишь двумя классами '''# "пятерка" и "не пятерка" из набора рукописных цифр MNIST</font> '''from''' sklearn.metrics '''import''' roc_curve '''import''' matplotlib.pyplot '''as''' plt '''import''' numpy '''as''' np '''from''' sklearn.datasets '''import''' fetch_openml '''from''' sklearn.model_selection '''import''' cross_val_predict '''from''' sklearn.linear_model '''import''' SGDClassifier mnist = fetch_openml('mnist_784', version=1) X, y = mnist["data"], mnist["target"] y = y.astype(np.uint8) X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], y[60000: ] y_train_5 = (y_train == 5) <mathfont color="green"> stdev# True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</font> y_test_5 = (y_test == 5) sgd_clf = SGDClassifier(Crandom_state=42) <font color= \dfrac{1}{K}\sqrt{\sum_{c_k \in C} \|\sigma"green"># классификатор на основе метода стохастического градиентного спуска (c_kStochastic Gradient Descent SGD)\|} </mathfont> sgd_clf.fit(X_train, y_train_5) <font color="green"># обучаем классификатор распозновать пятерки на целом обучающем наборе</font> y_train_pred = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3) y_scores = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3, method="decision_function") fpr, tpr, thresholds = roc_curve(y_train_5, y_scores) def plot_roc_curve(fpr, tpr, label=None): plt.plot(fpr, tpr, linewidth=2, label=label) plt.plot([0, 1], [0, 1], 'k--') # dashed diagonal plt.xlabel('False Positive Rate, FPR (1 - specificity)') plt.ylabel('True Positive Rate, TPR (Recall)') plt.title('ROC curve') plt.savefig("ROC.png") plot_roc_curve(fpr, tpr) plt.show()

: '''Чувствительность к соотношению классов.''' Рассмотрим задачу выделения математических статей из множества научных статей. Допустим, что всего имеется 1.000.100 статей, из которых лишь 100 относятся к математике. Если нам удастся построить алгоритм <math> SDbwa(Cx) </math>, идеально решающий задачу, то его TPR будет равен единице, а FPR — нулю. Рассмотрим теперь плохой алгоритм, дающий положительный ответ на 95 математических и 50.000 нематематических статьях. Такой алгоритм совершенно бесполезен, но при этом имеет TPR = \dfrac{1}{K} \sum_{c_k \in C} \dfrac{\|\sigma(c_k)\|}{\|\sigma(X)\|} + \dfrac{1}{K(K0.95 и FPR = 0.05, что крайне близко к показателям идеального алгоритма.Таким образом, если положительный класс существенно меньше по размеру, то AUC-1)} \sum_{c_k \in C} \sum_{c_l \in C \setminus c_k} \dfrac{den(c_kROC может давать неадекватную оценку качества работы алгоритма,c_l)}{max(den(c_k)поскольку измеряет долю неверно принятых объектов относительно общего числа отрицательных. Так,denалгоритм <math>b(c_lx))} </math>, помещающий 100 релевантных документов на позиции с 50.001-й по 50.101-ю, будет иметь AUC-ROC 0.95.

[[Файл: <math> den(c_k) = \sum_{x_i \in c_k} f(x_i, \overline{c_k}) </math>,PR_curve.png]]

: <font color="green"># Код отрисовки Precison-recall кривой '''# На примере классификатора, способного проводить различие между всего лишь двумя классами '''# "пятерка" и "не пятерка" из набора рукописных цифр MNIST<math/font> den '''from''' sklearn.metrics '''import''' precision_recall_curve '''import''' matplotlib.pyplot '''as''' plt '''import''' numpy '''as''' np '''from''' sklearn.datasets '''import''' fetch_openml '''from''' sklearn.model_selection '''import''' cross_val_predict '''from''' sklearn.linear_model '''import''' SGDClassifier mnist = fetch_openml(c_k'mnist_784', c_lversion=1) X, y = mnist["data"], mnist["target"] y = y.astype(np.uint8) X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], y[60000:] y_train_5 = \sum_{x_i \in c_k \cup c_l} f(x_iy_train == 5) <font color="green"># True для всех пятерок, \dfrac{\overline{c_k} + \overline{c_l}}{2}False для в сех остальных цифр. Задача опознать пятерки</font> y_test_5 = (y_test == 5) sgd_clf = SGDClassifier(random_state=42)<font color="green"> # классификатор на основе метода стохастического градиентного спуска (Stochastic Gradient Descent SGD)</font> sgd_clf.fit(X_train, y_train_5) <font color="green"># обучаем классификатор распозновать пятерки на целом обучающем наборе</mathfont> y_train_pred = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3) y_scores = cross_val_predict(sgd_clf, X_train, y_train_5,cv=3, method="decision_function") precisions, recalls, thresholds = precision_recall_curve(y_train_5, y_scores) def plot_precision_recall_vs_threshold(precisions, recalls, thresholds): plt.plot(recalls, precisions, linewidth=2) plt.xlabel('Recall') plt.ylabel('Precision') plt.title('Precision-Recall curve') plt.savefig("Precision_Recall_curve.png") plot_precision_recall_vs_threshold(precisions, recalls, thresholds) plt.show()

: <math> f(x_i, c_k) = 0 </math>, если <math> \|x_i - \overline{c_k}\| > stdev(C) </math> и <math>1</math> в ином случае.= Оценки качества регрессии ==

=== Силуэт Средняя квадратичная ошибка (англ. SilhouetteMean Squared Error, MSE) === Значение силуэта показывает, насколько объект похож на свой кластер по сравнению с другими кластерами.

Оценка для всей кластерной структуры:: <math> Sil(С) = \dfrac{1}{N} \sum_{c_k \in C} \sum_{x_i \in c_k} \dfrac{ b(x_i''MSE'' применяется в ситуациях, c_k) - a(x_i, c_k) }{ max \{ a(x_i, c_k), b(x_i, c_k) \} }</math>,где:: <math>a(x_i, c_k) = \dfrac{1}{|c_k|} \sum_{x_j \in c_k} \|x_i - x_j\|</math> {{---}} среднее расстояние от <math>x_i \in c_k</math> до других объектов из кластера <math>c_k</math> (компактность)когда нам надо подчеркнуть большие ошибки и выбрать модель,: <math>b(x_i, c_k) = min_{c_l \in C \setminus c_k } \{ \dfrac{1}{|c_l|} \sum_{x_j \in c_l} \|x_i - x_j\| \}</math> {{---}} среднее расстояние от <math>x_i \in c_k</math> до объектов из другого кластера <math>c_l: k \neq l</math> (отделимость)которая дает меньше больших ошибок прогноза.Можно заметитьГрубые ошибки становятся заметнее за счет того, что : <math> -1 \le Sil(C) \le 1</math>ошибку прогноза мы возводим в квадрат.Чем ближе данная оценка к 1И модель, тем лучше. Есть также упрощенная вариация силуэта: <math>a(x_iкоторая дает нам меньшее значение среднеквадратической ошибки, c_k)</math> и <math>b(x_iможно сказать, c_k)</math> вычисляются через центры кластеровчто что у этой модели меньше грубых ошибок.

CH(C) MSE = \dfrac{ N-K }{ K-1 } \cdot \dfrac{ \sum_{c_k \in Cn} |c_k| \cdot sum \| \overlinelimits_{c_ki=1} - \overline^{Xn} \| }{ \sum_{c_k \in C} \sum_{ x_i \in c_k } \| (a(x_i ) - \overline{c_k} \| }y_i)^2</math>Компактность основана на расстоянии от точек кластера до их центроидов, а разделимость - на расстоянии от центроид кластеров до глобального центроида. Должен возрастать. и

=== Индекс C ===Индекс C представляет собой нормализованную оценку компактности:: <math>CICредняя абсолютная ошибка (Cангл. Mean Absolute Error, MAE) = \dfrac{ S(C) - S_{min}(C) }{ S_{max}(C) - S_{min}(C)}</math>,где:: <math>S(C) = \sum \limits_{c_k \in C} \sum \limits_{x_i, x_j \in c_k} \| x_i - x_j \|</math>,: <math>S_{min}(C) (S_{max}(C))</math> - сумма <math>\dfrac{ |c_k|\cdot(|c_k| - 1) }{2}</math> минимальных (максимальных) расстояний между парами всех объектов во всем датасете.=

DB(C) MAE = \dfrac{1}{Kn} \sum \limits_{c_k \in C} \max \limits_{c_l \in C \setminus c_k} \Big\{ \dfrac{ S(c_k)+S(c_l) }{ \| \overline{c_k} - \overline{c_l} \| } \Big\}</math>,где:: <math>S(c_k) i= \dfrac{ 1 }^{ |c_k| } \sum \limits_{x_i \in c_kn} \|a(x_i ) - \overline{c_k}\y_i|

Существует еще одна вариация данной мерыСреднеквадратичный функционал сильнее штрафует за большие отклонения по сравнению со среднеабсолютным, которая и поэтому более чувствителен к выбросам. При использовании любого из этих двух функционалов может быть полезно проанализировать, какие объекты вносят наибольший вклад в общую ошибку — не исключено, что на этих объектах была предложена автором вместе с основной версией:: <math>DB^*(C) = \dfrac{1}{K} \sum \limits_{c_k \in C} \dfrac{ \max \limits_{c_l \in C \setminus c_k} \{ S(c_k)+S(c_l) \} }{ \min \limits_{c_l \in C \setminus c_k} \{ \| \overline{c_k} - \overline{c_l} \| \} }</math>допущена ошибка при вычислении признаков или целевой величины.

CСреднеквадратичная ошибка подходит для сравнения двух моделей или для контроля качества во время обучения, но не позволяет сделать выводов о том, на сколько хорошо данная модель решает задачу. Например, MSE = 10 является очень плохим показателем, если целевая переменная принимает значения от 0 до 1, и очень хорошим, если целевая переменная лежит в интервале (10000, 100000). В таких ситуациях вместо среднеквадратичной ошибки полезно использовать коэффициент детерминации {{--индекс и индекс Дэвиcа-Болдуина должны минимизироваться для роста кластеризации.}} <math>R^2</math>

=== Score function Коэффициент детерминации ===Индекс, основанный на суммировании. Здесь оценка компактности выражается в дистанции от точек кластера до его центроида, а оценка разделимости — в дистанции от центроидов кластеров до глобального центроида.

SF(C) R^2 = 1 - \dfrac{ 1 }{ e^{e^{bcd(C) + wcd(C)}} }</math>,где:: <math>bcd(C) = \dfrac{ \sum \limits_{c_k \in Ci=1} |c_k| \cdot \|\overline^{c_kn} (a(x_i) - \overline{X}\| y_i)^2}{ N \times K }</math>,: <math>wcd(C) = \sum \limits_{c_k \in C} \dfrac{ i=1 }^{ |c_k| n} \sum \limits_{x_i \in c_k} \|x_i (y_i - \overline{c_ky})^2}\|

Чем больше данный индексКоэффициент детерминации измеряет долю дисперсии, тем выше качествообъясненную моделью, в общей дисперсии целевой переменной.Фактически, данная мера качества — это нормированная среднеквадратичная ошибка. Если она близка к единице, то модель хорошо объясняет данные, если же она близка к нулю, то прогнозы сопоставимы по качеству с константным предсказанием. === Средняя абсолютная процентная ошибка (англ. Mean Absolute Percentage Error, MAPE) ===

G(C) MAPE = 100\% \times \dfrac{ 1}{n}\sum_sum \limits_{c_k \in Ci=1}^{n} \sum_dfrac{x_i,x_j \in c_k} |c_k| \cdot dly_i - a(x_i, x_j) |}{ n_w (\binom{N}{2} - n_w) |y_i|}

где:: <math>dl(x_iЭто коэффициент,x_j)</math> {{---}} число пар <math>(x_kне имеющий размерности, x_l) \in X</math> таких, что (1) <math>x_k</math> и <math>x_l</math> принадлежат разным кластерам, и (2) <math>\|x_k - x_l\| < \|x_i - x_j\|</math>,: <math>n_w = \sum_{c_k \in C} \binom{|c_k|}{2}</math>с очень простой интерпретацией. === Индекс COP ===В данной мере компактность вычисляется как расстояние от точек кластера до его центроиды, а разделимость основана на расстоянии до самого отдаленного соседаЕго можно измерять в долях или процентах.: <math>COP(C) = \dfrac{1}{N} \sum \limits_{c_k \in C} |c_k| \dfrac{ 1/|c_k| \sum_{x_i \in c_k} \| x_i - \overline{c_k} \| }{ \min_{x_i \notin c_k} \max_{x_j \in c_k} \| x_i - x_j\| }</math>. === Индекс CS ===Был предложен в области сжатия изображенийЕсли у вас получилось, но может быть успешно адаптирован для любого другого окружения. Он оценивает компактность по диаметру кластеранапример, а отделимость — как дистанцию между ближайшими элементами двух кластеров. : <math>CS(C) что MAPE= \dfrac{\sum_{c_k \in C} \{ 1 / |c_k| \sum_{x_i \in c_k} \max_{x_j \in c_k}\{\|x_i - x_j\|\} \}}{\sum_{c_k \in C} \min_{c_l \in C \setminus c_k} \{\|\overline{c_k} - \overline{c_l}\| \}}</math>11. Чем меньше значение данного индекса4%, тем выше качество кластеризации. === Индекс Sym ===: <math>Sym(C) = \dfrac {\max_{c_kто это говорит о том, c_l \in C} \{\|\overline{c_k} - \overline{c_l}\|\}}{K\sum_{c_k \in C}\sum_{x_i \in c_k} \overset{\ast}{d_{ps}}(x_iчто ошибка составила 11, c_k)}</math>4% от фактических значений. Здесь <math>\overset{\ast}{d_{ps}}(x_i, c_k)</math> Основная проблема данной ошибки — дистанция симметрии для точки <math>x_i</math> из кластера <math>c_k</math>. Чем выше данное значение, тем лучше. === Индексы SymDB, SymD, Sym33 ===Модифицируют оценку компактности для индексов Дэвиса-Боулдина, Данна и gD33 соответственно. SymDB вычисляется аналогично DB с изменением вычисления <math>S</math> на: : <math> S(c_k) = \dfrac{1}{|c_k| \sum_{x_i \in c_k} \overset{\ast}{d_{ps}}(x_i, c_k)} </math>. Данная оценка должна уменьшаться для улучшения качества кластеризации. В SymD переопределена функция <math>\Delta</math>: : <math> \Delta(c_k) = \max_{x_i \in c_k} \{\overset{\ast}{d_{ps}}(x_i, c_k)\} </math>нестабильность.

в Sym33 аналогично SymD переопределена <math>\Delta</math>: : <math> \Delta(c_k) = \dfrac{2}{|c_k| \sum_{x_i \in c_k} \overset{\ast}{d_{ps}}== Корень из средней квадратичной ошибки (x_iангл. Root Mean Squared Error, c_kRMSE)} </math>. Последние две оценки должны расти для улучшения качества кластеризации. === Negentropy increment ===В отличие от подавляющего большинства других оценок, не основывается на сравнении компактности и разделимости. Определяется следующим образом:

NI(C) RMSE = \sqrt{\dfrac{1}{2n} \sum_{c_k sum \in C} p(c_k)log|cov_{c_k}| - \dfraclimits_{i=1}^{2n}log|cov_X| - \sum_{c_k \in C} p(c_ka(x_i)log p(c_k- y_i)^2}</math>.

Здесь <math>p(c_k) = |c_k| / N</math>Примерно такая же проблема, <math>|cov_{c_k}|</math> - определитель ковариационной матрицы кластера <math>c_k</math>как и в MAPE: так как каждое отклонение возводится в квадрат, <math>|cov_X|</math> - определитель ковариационной матрицы всего датасеталюбое небольшое отклонение может значительно повлиять на показатель ошибки. Стоит отметить, что существует также ошибка MSE, из которой RMSE как раз и получается путем извлечения корня.

Данная оценка должна уменьшаться пропорционально росту качества кластеризации.=== Индекс SV Cимметричная MAPE (англ. Symmetric MAPE, SMAPE) ===Одна из самых новых из рассматриваемых в данном разделе оценок. Измеряет разделимость по дистанции между ближайшими точка кластеров, а компактность — по расстоянию от пограничных точек кластера до его центроида.

SV(C) SMAPE = \dfrac{\sum_{c_k \in C1} \min_{c_l \in C \setminus c_kn} \{\|sum \overlinelimits_{c_ki=1} - \overline^{c_ln}\|\}}{\sum_dfrac{c_k 2 \in C} 10 / times |c_ky_i - a(x_i)| \sum \max_}{x_i \in c_k}(0.1 * |c_ky_i|) * \+ |\overline{a(x_i} - \overline{c_k}\)|}</math>.

Данная оценка должна увеличиваться=== Средняя абсолютная масштабированная ошибка (англ.Mean absolute scaled error, MASE) ===

: <math> MASE =\dfrac{\sum \limits_{i=1}^n |Y_i - e_i|}{\frac{n}{n-1}\sum \limits_{i= Индекс OS ===Отличается от предыдущей оценки усложненным способом вычисления оценки разделимости.2}^n | Y_i-Y_{i-1}|} </math>

''MASE'' является очень хорошим вариантом для расчета точности, так как сама ошибка не зависит от масштабов данных и является симметричной: <math>то есть положительные и отрицательные отклонения от факта рассматриваются в равной степени.OS(C) = \dfrac{\sum_{c_k \in C} \sum_{x_i \in c_k} ov(x_iОбратите внимание, что в ''MASE'' мы имеем дело с двумя суммами: та, что в числителе, соответствует тестовой выборке, та, что в знаменателе - обучающей. Вторая фактически представляет собой среднюю абсолютную ошибку прогноза. Она же соответствует среднему абсолютному отклонению ряда в первых разностях. Эта величина, по сути, показывает, насколько обучающая выборка предсказуема. Она может быть равна нулю только в том случае, когда все значения в обучающей выборке равны друг другу, что соответствует отсутствию каких-либо изменений в ряде данных, ситуации на практике почти невозможной. Кроме того, если ряд имеет тенденцию к росту либо снижению, c_k)}{\sum_{c_k \in C} 10 / |c_k| \sum \max_{x_i \in c_k}(0его первые разности будут колебаться около некоторого фиксированного уровня.1 * |c_k|) * \|\overline{x_i} В результате этого по разным рядам с разной структурой, знаменатели будут более- \overline{c_k}\|}</math>менее сопоставимыми. Всё это, конечно же, является очевидными плюсами ''MASE'', так как позволяет складывать разные значения по разным рядам и получать несмещённые оценки.

: <math>ov(x_i, c_k) = \dfrac{a(x_i, c_k)}{b(x_i, c_k)}</math>.= Кросс-валидация ==

при <math> \dfrac{b(x_i, c_k) Хороший способ оценки модели предусматривает применение [[Кросс-валидация|кросс- a(x_i, c_k)}{b(x_i, c_k) + aвалидации]] (x_i, c_kcкользящего контроля или перекрестной проверки)} < 0.4 </math>, и <math>0</math> в ином случае.

Функции <math>a</math> В этом случае фиксируется некоторое множество разбиений исходной выборки на две подвыборки: обучающую и <math>b</math> определены следующим образом:контрольную. Для каждого разбиения выполняется настройка алгоритма по обучающей подвыборке, затем оценивается его средняя ошибка на объектах контрольной подвыборки. Оценкой скользящего контроля называется средняя по всем разбиениям величина ошибки на контрольных подвыборках.

: <math>a(x_i, c_k) = \dfrac{1}{|c_k|\sum_{x_j \in c_k}\|x_i - x_j\|}</math>. : <math>b(x_i, c_k) = \dfrac{1}{|c_k|\sum_{x_j \notin c_k}\ \min(|c_k)\|x_i - x_j\|}</math>. Данная оценка, как и предыдущая, должна возрастать. == Сравнение Примечания ==Не существует лучшего метода оценки качества кластеризации. Однако, в рамках исследования<ref># [https://www.sciencedirectcoursera.comorg/sciencelecture/articlevvedenie-mashinnoe-obuchenie/abs/pii/S003132031200338X An extensive comparative study of cluster validity indicesotsienivaniie-kachiestva-xCdqN]</ref> была предпринята попытка сравнить существующие меры Лекция "Оценивание качества" на различных данныхwww. Полученные результаты показали, что на искусственных датасетах наилучшим образом себя проявили индексы <math>Silhouette</math>, <math>DB^*</math> и <math>Calinski-Harabasz</math>. На реальных датасетах лучше всех показал себя <math>Score-function</math>coursera.org В Таблице 1 приведены оценки сложности мер качества кластеризации (<math>n</math> — число объектов в рассматриваемом наборе данных): {|class="wikitable" style="margin# [https:auto; clear:both; |+ Таблица 1 — Оценка сложности для 19 мер качества кластеризации. |<math>Davies-Bouldin</math> |<math>O(n\log{n})</math> |<math>CS<stepik.org/math> |<math>O(n\log{n})<lesson/math> |- |<math>Dunn<209691/math> |<math>O(n^2)<step/math>8?unit=183195] Лекция на www.stepik.org о кросвалидации |<math>DB^*<# [https:/math> |<math>O(n\log{n})</math> |- |<math>Calinski-Harabasz<stepik.org/math> |<math>O(n\log{n})<lesson/math> |<math>SF<209692/math> |<math>O(n)<step/math>5?unit=183196] Лекция на www.stepik.org о метриках качества, Precison и Recall |- |<math>Sillhouette<# [https:/math> |<math>O(n^2)</math> |<math>Sym<stepik.org/math> |<math>O(n^2)<lesson/math> |- |<math>gD31<209692/math> |<math>O(n^2)<step/math> |<math>COP</math> |<math>O(n^2)</math> |- |<math>gD41</math> |<math>O(n^2)</math> |<math>SV</math> |<math>O(n\log{n})</math> |7?unit=183196] Лекция на www.stepik.org о метриках качества, F-мера |<math>gD51</math> |<math>O(n^2)</math> |<math>OS</math> |<math>O(n^2\log{n})</math> |- |<math>gD33</math> |<math>O(n^2)</math> |<math>SDbw</math> |<math>O(n\log{n})</math> |- |<math>gD43</math> |<math>O(n^2)</math> |<math>C-index</math> |<math>O(n^2\log{n})</math> |- |<math>gD53</math> |<math>O(n\log{n})</math> | | |} Из всех рассмотренных мер, меры <math>Sym</math>, <math>gD41</math>, <math>OS</math> и <math>COP</math> наиболее полно соответствуют когнитивному представлению асессоров о качестве кластеризации<ref># [https://ieeexplore.ieeestepik.org/abstractlesson/document209692/7891855 Towards cluster validity index evaluation and selectionstep/8?unit=183196]</ref>Лекция на www.stepik.org о метриках качества, примеры

* [[КластеризацияОценка качества в задаче кластеризации]]* [[Оценка качества в задачах классификации и регрессии]Кросс-валидация]^{[на 28.01.19 не создан]}

# [https://encompscicenter.wikipedia.orgru/media/wikicourses/Category:Clustering_criteria Wikipedia {{2018-autumn/spb-recommendation/materials/lecture02-}} Category:Clustering criterialinregr_1.pdf]Соколов Е.А. Лекция линейная регрессия# [http://synthesis.ipiwww.acmachinelearning.ru/sigmodwiki/seminarimages/sivogolovko201111245/59/PZAD2016_04_errors.pdf Сивоголовко Е] - Дьяконов А. В. Методы оценки Функции ошибки / функционалы качества четкой кластеризации]# [httphttps://wwwforecasting.cssvetunkov.kent.eduru/etextbook/~jinforecasting_toolbox/DM08models_quality/ClusterValidation.pdf Cluster Validation]- Оценка качества прогнозных моделей# [https://linkshtem.springer.comru/article%D0%BE%D1%88%D0%B8%D0%B1%D0%BA%D0%B0-%D0%BF%D1%80%D0%BE%D0%B3%D0%BD%D0%BE%D0%B7%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F-%D1%84%D0%BE%D1%80%D0%BC%D1%83%D0%BB%D0%B0/10.1023/A] - HeinzBr Ошибка прогнозирования:1012801612483 Halkidiвиды, M.формулы, Batistakis, Yпримеры# [https://habr., Vazirgiannis, M., 2001. On clustering validation techniques. Journal of intelligent information systems, 17(2-3), pp.107com/ru/company/ods/blog/328372/] -145.]egor_labintcev Метрики в задачах машинного обучения# [https://eurekamaghabr.com/pdfru/post/19657/] - grossu Методы оценки качества прогноза# [http:/008/008337083www.machinelearning.pdf Pal, Nru/wiki/index.Rphp?title=%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F] - К., Biswas, JВ.Воронцов, 1997Классификация# [http://www. Cluster validation using graph theoretic conceptsmachinelearning. Pattern Recognition, 30(6), ppru/wiki/index.847php?title=CV] -857К.В.] == Примечания ==Воронцов, Скользящий контроль

[[Категория:КластеризацияКлассификация]][[Категория:Регрессия]]