Изменения

* Некредитоспособный заёмщик классифицирован как некредитоспособный, т.е. положительный класс распознан как положительный. Наблюдения, для которых это имеет место называются '''истинно-положительными''' ('''true positiveTrue Positive''' {{---}} '''TP''').* Кредитоспособный заёмщик классифицирован как кредитоспособный, т.е. отрицательный класс распознан как отрицательный. Наблюдения, которых это имеет место, называются '''истинно отрицательными''' ('''true negativeTrue Negative''' {{---}} '''TN''').* Кредитоспособный заёмщик классифицирован как некредитоспособный, т.е. имела место ошибка, в результате которой отрицательный класс был распознан как положительный. Наблюдения, для которых был получен такой исход классификации, называются '''ложно-положительными''' ('''false positiveFalse Positive''' {{---}} '''FP'''), а ошибка классификации называется '''ошибкой I рода'''.* Некредитоспособный заёмщик распознан как кредитоспособный, т.е. имела место ошибка, в результате которой положительный класс был распознан как отрицательный. Наблюдения, для которых был получен такой исход классификации, называются '''ложно-отрицательными''' ('''false negativeFalse Negative''' {{---}} '''FN'''), а ошибка классификации называется '''ошибкой II рода'''.

[[Файл:Confusion_matrix.png{|500px]]class="wikitable" style="text-align: center"||<math>y = 1</math>|<math>y = 0</math>|-|<math>a ( x ) = 1</math>|Истинно-положительный ('''True Positive — TP''')|Ложно-положительный ('''False Positive — FP''')|-|<math>a ( x ) = 0</math>|Ложно-отрицательный ('''False Negative — FN''')|Истинно-отрицательный ('''True Negative — TN''')|}

'''importfrom''' pandas sklearn.linear_model '''asimport''' pdSGDClassifier mnist = fetch_openml('mnist_784''n , version=1) X, y = mnist["data"], mnist["target"] y = confusion_matrixy.astype(np.uint8) X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], ay[60000:] y_train_5 = (y_train == 5) <font color="green"># 1-й способTrue для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</font> y_test_5 = (y_test == 5) '''n sgd_clf = SGDClassifier(random_state=42)<font color= pd"green"> # классификатор на основе метода стохастического градиентного спуска (англ. Stochastic Gradient Descent SGD)</font> sgd_clf.crosstabfit(X_train, y_train_5) <font color="green"># обучаем классификатор распозновать пятерки на целом обучающем наборе</font> <font color="green"># Для расчета матрицы ошибок сначала понадобится иметь набор прогнозов, чтобы их можно было сравнивать с фактическими целями</font> y_train_pred = cross_val_predict(ysgd_clf, X_train, y_train_5, cv=3) print(confusion_matrix(y_train_5, ay_train_pred)) <font color="green"># 2array([[53892, 687], # [ 1891, 3530]])</font> Безупречный классификатор имел бы только истинно-й способполо­жительные и истинно отрицательные классификации, так что его матрица ошибок содержала бы ненулевые значения только на своей главной диа­гонали (от левого верхнего до правого нижнего угла):  '''import''' numpy '''as''' np '''# Вычисление TN, FP, FN, TP from''' sklearn.datasets '''import''' fetch_openml '''TNfrom''' sklearn.metrics '''import''' confusion_matrix mnist = fetch_openml('mnist_784', FPversion=1) X, FNy = mnist["data"], TP mnist["target"] y = confusion_matrixy.astype(np.uint8) X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], ay[60000:] y_train_5 = (y_train == 5)<font color="green"># True для всех пятерок, False для в сех остальных цифр.ravelЗадача опознать пятерки</font> y_test_5 = (y_test == 5) y_train_perfect_predictions = y_train_5 <font color="green"># притворись, что мы достигли совершенства</font> print(confusion_matrix(y_train_5, y_train_perfect_predictions)) <font color="green"># array([[54579, 0], # [ 0, 5421]])</font>

<font color="green"># код для для подсчета точности и полноты: '''# Пример классификатора, способного проводить различие между всего лишь двумя '''# классами, "пятерка" и "не пятерка" из набора рукописных цифр MNIST</font> '''import''' numpy '''as''' np '''from''' sklearn.datasets '''import''' fetch_openml '''from''' sklearn.model_selection '''import''' cross_val_predict '''from ''' sklearn.metrics '''import ''' precision_score, recall_score '''from''' sklearn.linear_model '''import''' SGDClassifier mnist = fetch_openml('mnist_784', version=1) X, y = mnist["data"], mnist["target"] y = y.astype(np.uint8) X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], y[60000:] y_train_5 = (y_train == 5) <font color="green"># True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</font> y_test_5 = (y_test == 5) sgd_clf = SGDClassifier(random_state=42)<font color="green"> # классификатор на основе метода стохастического градиентного спуска (Stochastic Gradient Descent SGD)</font> sgd_clf.fit(X_train, y_train_5) <font color="green"># обучаем классификатор распозновать пятерки на целом обучающем наборе</font> y_train_pred = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3) <font color="green"># print(confusion_matrix(y_train_5, y_train_pred)) # array([[53892, 687] # [ 1891, 3530]])</font> print(precision_score(y_trainy_train_5, y_train_pred)) <font color="green"># == 3530 / (3530 + 687)</font> '''print(recall_score(y_trainy_train_5, y_train_pred)) <font color="green"># == 3530 / (3530 + 1891)</font> <font color="green"># 0.8370879772350012 # 0.6511713705958311</font>

F-мера представляет собой [[https://ru.wikipedia.org/wiki/%D0%A1%D1%80%D0%B5%D0%B4%D0%BD%D0%B5%D0%B5_%D0%B3%D0%B0%D1%80%D0%BC%D0%BE%D0%BD%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5 гармоническое среднее]] между точностью и полнотой. Она стремится к нулю, если точность или полнота стремится к нулю.

''F-мера'' является хорошим кандидатом на формальную метрику оценки качества классификатора. Она сводит к одному числу две других основополагающих метрики: точность и полноту. Имея в своем распоряжении подобный механизм оценки вам будет "F-меру" гораздо проще принять решение о том являются ли изменения в алгоритме ответить на вопрос: "поменялся алгоритм в лучшую сторону или нет.?"

<font color="green"># код для подсчета метрики F-mera: '''# Пример классификатора, способного проводить различие между всего лишь двумя '''# классами, "пятерка" и "не пятерка" из набора рукописных цифр MNIST</font> '''import''' numpy '''as''' np '''from ''' sklearn.datasets '''import''' fetch_openml '''from''' sklearn.model_selection '''import''' cross_val_predict '''from''' sklearn.linear_model '''import''' SGDClassifier '''from''' sklearn.metrics '''import ''' f1_score mnist = fetch_openml('mnist_784'', version=1) X, y = mnist["data"], mnist["target"] y = y.astype(np.uint8) X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], y[60000:] y_train_5 = (y_train == 5)<font color="green"> # True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</font> y_test_5 = (y_test == 5) sgd_clf = SGDClassifier(random_state=42)<font color="green"> # классификатор на основе метода стохастического градиентного спуска (Stochastic Gradient Descent SGD)</font> sgd_clf.fit(X_train, y_train_5) <font color="green"># обучаем классификатор распознавать пятерки на целом обучающем наборе</font> y_train_pred = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3) print(f1_score(y_trainy_train_5, y_train_pred)) <font color="green"># 0.7325171197343846</font>

'''Кривая рабочих характеристик''' (англ. '''Receiver Operating Characteristics curve (кривая рабочих характеристик''').

Показывает долю ложно положительных примеров ( FPR, англ. '''false positive rate , FPR''') в сравнении с долей истинно положительных примеров ( TPR, англ. '''true positive rate, TPR''').

[[Файл:RoccurvesROC_2.png|600px]]

: <math> TPR = \dfrac{TP}{TP+FN} = Recall</math>

Доля '''FPR''' {{---}} это пропорция отрицательных образцов, которые были некорректно классифицированы как положительные. : <math> FPR = 1 - TNR</math>,  где '''TNR''' {{---}} доля истинно отрицательных классификаций (англ. '''Тrие Negative Rate'''), пред­ставляющая собой пропорцию отрицательных образцов, которые были кор­ректно классифицированы как отрицательные. Доля '''TNR''' также называется '''специфичностью''' (англ. '''specificity'''). Следовательно, ROC-кривая изображает '''чувствительность''' (англ. '''seпsitivity'''), т.е. полноту, в срав­нении с разностью '''1 - specificity'''. Прямая линия по диагонали представляет ROC-кривую чисто случайного классификатора. Хороший классификатор держится от указанной линии настолько далеко, насколько этовозможно (стремясь к левому верхнему углу). Один из способов сравнения классификаторов предусматривает измере­ние '''площади под кривой''' (англ. '''Area Under the Curve {{---}} AUC'''). Безупречный клас­сификатор будет иметь площадь под ROC-кривой ('''ROC-AUC'''), равную 1, тогда как чисто случайный классификатор - площадь 0.5.  <font color="green"># Код отрисовки ROC-кривой '''# На примере классификатора, способного проводить различие между всего лишь двумя классами '''# "пятерка" и "не пятерка" из набора рукописных цифр MNIST</font> '''snsfrom''' sklearn.set(font_scale=1metrics '''import''' roc_curve '''import''' matplotlib.pyplot '''as''' plt '''import''' numpy '''as''' np '''from''' sklearn.5)datasets '''import''' fetch_openml '''snsfrom''' sklearn.set_color_codes("muted")model_selection '''import''' cross_val_predict '''pltfrom''' sklearn.figure(figsizelinear_model '''import''' SGDClassifier mnist =fetch_openml(10'mnist_784', 8)version=1) '''fprX, tpry = mnist["data"], thresholds mnist["target"] y = roc_curvey.astype(np.uint8) X_train, X_test, y_train, y_test= X[:60000], X[60000:], lr.predict_proba(X_test)y[:60000],1y[60000:] y_train_5 = (y_train == 5) <font color="green"># True для всех пятерок, pos_labelFalse для в сех остальных цифр. Задача опознать пятерки</font> y_test_5 = (y_test ==15) '''lw sgd_clf = SGDClassifier(random_state=42) <font color= 2"green"># классификатор на основе метода стохастического градиентного спуска (Stochastic Gradient Descent SGD)</font> '''pltsgd_clf.plotfit(X_train, y_train_5) <font color="green"># обучаем классификатор распозновать пятерки на целом обучающем наборе</font> y_train_pred = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3) y_scores = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3, method="decision_function") fpr, tpr, lwthresholds =lwroc_curve(y_train_5, y_scores) def plot_roc_curve(fpr, tpr, label='ROC curve 'None): ''' plt.plot([0fpr, 1]tpr, [0linewidth=2, 1]label=label) ''' plt.xlimplot([0.0, 1.0]) '''plt.ylim(, [0.0, 1.05], 'k--')# dashed diagonal ''' plt.xlabel('False Positive Rate, FPR (1 - specificity)') ''' plt.ylabel('True Positive Rate, TPR (Recall)') ''' plt.title('ROC curve') ''' plt.savefig("ROC.png") '''plot_roc_curve(fpr, tpr) plt.show()

Рассмотрим задачу выделения математических статей из множества научных статей. Допустим, что всего имеется 1.000.100 статей, из которых лишь 100 относятся к математике. Если нам удастся построить алгоритм <math>a(x)</math>, идеально решающий задачу, то его TPR будет равен единице, а FPR — нулю. Рассмотрим теперь плохой алгоритм, дающий положительный ответ на 95 математических и 50.000 нематематических статьях. Такой алгоритм совершенно бесполезен, но при этом имеет TPR = 0.95 и FPR = 0.05, что крайне близко к показателям идеального алгоритма.Таким образом, если положительный класс существенно меньше по размеру, то AUC-ROC может давать неадекватную оценку качества работы алгоритма, поскольку измеряет долю неверно принятых объектов относительно общего числа отрицательных. Так, алгоритм <math>b(x)</math>, помещающий 100 релевантных документов на позиции с 50.001-й по 50.101-ю, будет иметь AUC-ROC 0.95. '''Precison-recall (PR) кривая.''' Избавиться от указанной проблемы с несбалансированными классами можно, перейдя от ROC-кривой к PR-кривой. Она определяется аналогично ROC-кривой, только по осям откладываются не FPR и TPR, а полнота (по оси абсцисс) и точность (по оси ординат). Критерием качества семейства алгоритмов выступает '''площадь под PR-кривой''' (англ. '''Area Under the Curve — AUC-PR''')

'''Precison-recall кривая[[Файл:PR_curve.''' Избавиться от указанной проблемы с несбалансированными классами можно, перейдя от ROC-кривой к Precision-Recall кривой. Она определяется аналогично ROC-кривой, только по осям откладываются не FPR и TPR, а полнота (по оси абсцисс) и точность (по оси ординат). Критерием качества семейства алгоритмов выступает площадь под PR-кривой (AUC-PR)png]]

<font color="green"># Код отрисовки Precison-recall кривой '''# На примере классификатора, способного проводить различие между всего лишь двумя классами '''# "пятерка" и "не пятерка" из набора рукописных цифр MNIST</font> '''from''' sklearn.metrics '''import''' precision_recall_curve '''import''' matplotlib.pyplot '''as''' plt '''import''' numpy '''as''' np '''from''' sklearn.datasets '''import''' fetch_openml '''from''' sklearn.model_selection '''import''' cross_val_predict '''from''' sklearn.linear_model '''import''' SGDClassifier mnist = fetch_openml('mnist_784', version=1) X, y = mnist["data"], mnist["target"] y = y.astype(np.uint8) X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], y[Файл60000:] y_train_5 = (y_train == 5) <font color="green"># True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</font> y_test_5 = (y_test == 5) sgd_clf = SGDClassifier(random_state=42)<font color="green"> # классификатор на основе метода стохастического градиентного спуска (Stochastic Gradient Descent SGD)</font> sgd_clf.fit(X_train, y_train_5) <font color="green"># обучаем классификатор распозновать пятерки на целом обучающем наборе</font> y_train_pred = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3) y_scores = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3, method="decision_function") precisions, recalls, thresholds = precision_recall_curve(y_train_5, y_scores) def plot_precision_recall_vs_threshold(precisions, recalls, thresholds):pr plt.plot(recalls, precisions, linewidth=2) plt.xlabel('Recall') plt.ylabel('Precision') plt.title('Precision-recRecall curve') plt.savefig("Precision_Recall_curve.png|600px]]") plot_precision_recall_vs_threshold(precisions, recalls, thresholds) plt.show()

=== MSE, Средняя квадратичная ошибка (англ. Mean Squared Error (средняя квадратичная ошибка, MSE) === ''MSE'' применяется в ситуациях, когда нам надо подчеркнуть большие ошибки и выбрать модель, которая дает меньше больших ошибок прогноза. Грубые ошибки становятся заметнее за счет того, что ошибку прогноза мы возводим в квадрат. И модель, которая дает нам меньшее значение среднеквадратической ошибки, можно сказать, что что у этой модели меньше грубых ошибок.

=== MAE, Cредняя абсолютная ошибка (англ. Mean Absolute Error (средняя абсолютная ошибка, MAE) ===

Среднеквадратичная ошибка подходит для сравнения двух моделей или для контроля качества во время обучения, но не позволяет сделать выводов о том, на сколько хорошо данная модель решает задачу. Например, MSE = 10 является очень плохим показателем, если целевая переменная принимает значения от 0 до 1, и очень хорошим, если целевая переменная лежит в интервале (10000, 100000). В таких ситуациях вместо среднеквадратичной ошибки полезно использовать коэффициент детерминации, или коэффициент {{---}} <math>R^2</math>

=== MAPE, Средняя абсолютная процентная ошибка (англ. Mean Absolute Percentage Error (средняя абсолютная процентная ошибка, MAPE) ===

=== RMSE, Корень из средней квадратичной ошибки (англ. Root Mean Squared Error (корень из средней квадратичной ошибки, RMSE) ===

RMSE = \sqrt{\dfrac{1}{n}\sum \limits_{i=1}^{n}(y_i a(x_i) - \overline{y_i})^2}

Примерно такая же проблема, как и в MAPE: так как каждое отклонение возводится в квадрат, любое небольшое отклонение может значительно повлиять на показатель ошибки. Стоит отметить, что существует также ошибка MSE, из которой RMSE как раз и получается путем извлечения корня. Но так как MSE дает расчетные единицы измерения в квадрате, то использовать данную ошибку будет немного неправильно.

=== SMAPE, Symmetric Cимметричная MAPE (симметричная англ. Symmetric MAPE, SMAPE) ===

=== MASE, Средняя абсолютная масштабированная ошибка (англ. Mean absolute scaled error (cредняя абсолютная масштабированная ошибка, MASE) ===

Обратите внимание, что в ''MASE'' мы имеем дело с двумя суммами: та, что в числителе, соответствует тестовой выборке, та, что в знаменателе - обучающей. Вторая фактически представляет собой среднюю абсолютную ошибку прогноза по методу Naive. Она же соответствует среднему абсолютному отклонению ряда в первых разностях. Эта величина, по сути, показывает, насколько обучающая выборка предсказуема. Она может быть равна нулю только в том случае, когда все значения в обучающей выборке равны друг другу, что соответствует отсутствию каких-либо изменений в ряде данных, ситуации на практике почти невозможной. Кроме того, если ряд имеет тендецию тенденцию к росту либо снижению, его первые разности будут колебаться около некоторого фиксированного уровня. В результате этого по разным рядам с разной структурой, знаменатели будут более-менее сопоставимыми. Всё это, конечно же, является очевидными плюсами ''MASE'', так как позволяет складывать разные значения по разным рядам и получать несмещённые оценки. Но, конечно же, без минусов нельзя. Проблема ''MASE'' в том, что её тяжело интерпретировать. Например, ''MASE''=1.21 ни о чём, по сути, не говорит. Это просто означает, что ошибка прогноза оказалась в 1.21 раза выше среднего абсолютного отклонения ряда в первых разностях, и ничего более. == k-fold кросс-валидация ==

# Обучающая выборка разбивается на <tex> k </tex> непересекающихся одинаковых по объему частей;# Производится <tex> k </tex> итерацийНедостаток ''MASE'' в том, что её тяжело интерпретировать. На каждой итерации происходит следующее:## Модель обучается на <tex> k - Например, ''MASE''=1 </tex> части обучающей выборки;## Модель тестируется на части обучающей выборки.21 ни о чём, по сути, которая не участвовала говорит. Это просто означает, что ошибка прогноза оказалась в обучении1.Каждая из <tex>k</tex> частей единожды используется для тестирования. Как правило21 раза выше среднего абсолютного отклонения ряда в первых разностях, <tex>k = 10</tex> (5 в случае малого размера выборки)и ничего более.

[[Файл:K== Кросс-fold-validation.png|500px]]валидация ==

<tex>T^l = F_1 \cup \dots \cup F_k, Хороший способ оценки модели предусматривает применение [[Кросс-валидация|F_i| \approx \frac{l}{k}, \\ CV_k = \frac{1}{k} \sum_{i=1}^{k} Qкросс-валидации]] (\mu(T^l \setminus F_i),F_icкользящего контроля или перекрестной проверки) \to min </tex>.

<font color="green"># Пример кода для k-fold кросс-валидацияВ этом случае фиксируется некоторое множество разбиений исходной выборки на две подвыборки:</font> ''' '''import numpy as np '''from sklearnобучающую и контрольную.model_selection import StratifiedKFold '''from sklearn.datasets import fetch_openml '''from sklearn.base import clone '''from sklearn.linear_model import SGDClassifier ''' '''mnist = fetch_openml('mnist_784', version=1) '''X, y = mnist["data"], mnist["target"] '''some_digit = X[0] # признаки цифры пять '''some_digit_image = some_digit.reshape(28, 28) '''y = y.astype(np.uint8) '''X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000]Для каждого разбиения выполняется настройка алгоритма по обучающей подвыборке, y[60000:] '''y_train_5 = (y_train == 5) # True для всех пятерок, False для в сех остальных цифр '''y_test_5 = (y_test == 5) '''sgd_clf = SGDClassifier(random_state=42) '''sgd_clfзатем оценивается его средняя ошибка на объектах контрольной подвыборки.fit(X_train, y_train_5) '''sgd_clf.predict([some_digit]) '''skfolds = StratifiedKFold(n_splits=3, random_state=42) '''for train_index, test_index in skfolds.split(X_train, y_train_5): ''''' ''''' clone_clf = clone(sgd_clf) ''''' X_train_folds = X_train[train_index] ''''' y_train_folds = y_train_5[train_index] ''''' X_test_fold = X_train[test_index] ''''' y_test_fold = y_train_5[test_index] ''''' clone_clf.fit(X_train_folds, y_train_folds) ''''' y_pred = clone_clf.predict(X_test_fold) ''''' n_correct = sum(y_pred == y_test_fold) ''''' print(n_correct / len(y_pred)) '''''# print 0.95035, 0.96035, 0Оценкой скользящего контроля называется средняя по всем разбиениям величина ошибки на контрольных подвыборках.9604

# [https://compscicenter.ru/media/courses/2018-autumn/spb-recommendation/materials/lecture02-linregr_1.pdf] Соколов Е. Семинар по выбору моделейА. Лекция линейная регрессия