Изменения

* Некредитоспособный заёмщик классифицирован как некредитоспособный, т.е. положительный класс распознан как положительный. Наблюдения, для которых это имеет место называются '''истинно-положительными''' ('''true positiveTrue Positive''' {{---}} '''TP''').* Кредитоспособный заёмщик классифицирован как кредитоспособный, т.е. отрицательный класс распознан как отрицательный. Наблюдения, которых это имеет место, называются '''истинно отрицательными''' ('''true negativeTrue Negative''' {{---}} '''TN''').* Кредитоспособный заёмщик классифицирован как некредитоспособный, т.е. имела место ошибка, в результате которой отрицательный класс был распознан как положительный. Наблюдения, для которых был получен такой исход классификации, называются '''ложно-положительными''' ('''false positiveFalse Positive''' {{---}} '''FP'''), а ошибка классификации называется '''ошибкой I рода'''.* Некредитоспособный заёмщик распознан как кредитоспособный, т.е. имела место ошибка, в результате которой положительный класс был распознан как отрицательный. Наблюдения, для которых был получен такой исход классификации, называются '''ложно-отрицательными''' ('''false negativeFalse Negative''' {{---}} '''FN'''), а ошибка классификации называется '''ошибкой II рода'''.

[[Файл:Confusion_matrix.png{|500px]]class="wikitable" style="text-align: center"||<math>y = 1</math>|<math>y = 0</math>|-|<math>a ( x ) = 1</math>|Истинно-положительный ('''True Positive — TP''')|Ложно-положительный ('''False Positive — FP''')|-|<math>a ( x ) = 0</math>|Ложно-отрицательный ('''False Negative — FN''')|Истинно-отрицательный ('''True Negative — TN''')|}

<font color="green">'''# Пример классификатора, способного проводить различие между всего лишь двумя</font> <font color="green">'''# классами, "пятерка" и "не пятерка" из набор данных набора рукописных цифр MNIST</font>

y_train_5 = (y_train == 5) <font color="green"># True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</font>

sgd_clf = SGDClassifier(random_state=42) <font color="green"> #классификатор на основе метода стохастического градиентного спуска (англ. Stochastic Gradient Descent SGD)</font> sgd_clf.fit(X_train, y_train_5) <font color="green">#обучаем классификатор распозновать пятерки на целом обучающем наборе</font> <font color="green"># Для расчета матрицы ошибок сначала понадобится иметь набор прогнозов, чтобы их можно было сравнивать с фактическими целями # Можно получить прогнозы и на тестовом наборе. Но мы пока тестовый набор не трогаем. Тестовый набор используем только в самом конце проекта # после того, как будет готов классификатор, готовый кзапуску</font>

<font color="green"># array([[53892, 687], # [ 1891, 3530]])</font>

y_train_5 = (y_train == 5) <font color="green"># True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</font>

y_train_perfect_predictions = y_train_5 <font color="green"># притворись, что мы достигли совершенства</font>

<font color="green"># array([[54579, 0], # [ 0, 5421]])</font>

<font color="green"># код для для подсчета точности и полноты:</font>

'''# классами, "пятерка" и "не пятерка" из набор данных набора рукописных цифр MNIST</font>

y_train_5 = (y_train == 5) <font color="green"># True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</font>

sgd_clf = SGDClassifier(random_state=42) <font color="green"> #классификатор на основе метода стохастического градиентного спуска (Stochastic Gradient Descent SGD)</font> sgd_clf.fit(X_train, y_train_5) <font color="green">#обучаем классификатор распозновать пятерки на целом обучающем наборе</font>

<font color="green"># print(confusion_matrix(y_train_5, y_train_pred))

# [ 1891, 3530]])</font> print(precision_score(y_train_5, y_train_pred)) <font color="green"># == 3530 / (3530 + 687)</font> print(recall_score(y_train_5, y_train_pred)) <font color="green"># == 3530 / (3530 + 1891)</font>

<font color="green"># 0.8370879772350012 # 0.6511713705958311</font>

<font color="green"># код для подсчета метрики F-mera:</font>

'''# классами, "пятерка" и "не пятерка" из набор данных набора рукописных цифр MNIST</font>

y_train_5 = (y_train == 5) <font color="green"> # True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</font>

sgd_clf = SGDClassifier(random_state=42) <font color="green"> #классификатор на основе метода стохастического градиентного спуска (Stochastic Gradient Descent SGD)</font> sgd_clf.fit(X_train, y_train_5) <font color="green">#обучаем классификатор распознавать пятерки на целом обучающем наборе</font>

<font color="green"># 0.7325171197343846</font>

[[Файл:ROC_curveROC_2.jpg|500pxpng]]

<font color="green"># Код отрисовки ROC-кривой '''# На примере классификатора, способного проводить различие между всего лишь двумя классами '''# "пятерка" и "не пятерка" из набора рукописных цифр MNIST</font> '''snsfrom''' sklearn.metrics '''import''' roc_curve '''import''' matplotlib.set(font_scale=1pyplot '''as''' plt '''import''' numpy '''as''' np '''from''' sklearn.5)datasets '''import''' fetch_openml '''snsfrom''' sklearn.set_color_codes("muted")model_selection '''import''' cross_val_predict '''pltfrom''' sklearn.figure(figsizelinear_model '''import''' SGDClassifier mnist =fetch_openml(10'mnist_784', 8)version=1) '''fprX, tpry = mnist["data"], thresholds mnist["target"] y = roc_curvey.astype(np.uint8) X_train, X_test, y_train, y_test= X[:60000], X[60000:], lr.predict_proba(X_test)y[:60000],1y[60000:] y_train_5 = (y_train == 5) <font color="green"># True для всех пятерок, pos_labelFalse для в сех остальных цифр. Задача опознать пятерки</font> y_test_5 =1(y_test == 5) '''lw sgd_clf = SGDClassifier(random_state=42) <font color= 2"green"># классификатор на основе метода стохастического градиентного спуска (Stochastic Gradient Descent SGD)</font> '''pltsgd_clf.plotfit(X_train, y_train_5) <font color="green"># обучаем классификатор распозновать пятерки на целом обучающем наборе</font> y_train_pred = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3) y_scores = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3, method="decision_function") fpr, tpr, lwthresholds =lwroc_curve(y_train_5, y_scores) def plot_roc_curve(fpr, tpr, label='ROC curve 'None): ''' plt.plot([0fpr, 1]tpr, [0linewidth=2, 1]label=label) ''' plt.xlimplot([0.0, 1.0]) '''plt.ylim(, [0.0, 1.05], 'k--')# dashed diagonal ''' plt.xlabel('False Positive Rate, FPR (1 - specificity)') ''' plt.ylabel('True Positive Rate, TPR (Recall)') ''' plt.title('ROC curve') ''' plt.savefig("ROC.png") '''plot_roc_curve(fpr, tpr) plt.show()

[[Файл:prPR_curve.png]]  <font color="green"># Код отрисовки Precison-recrecall кривой '''# На примере классификатора, способного проводить различие между всего лишь двумя классами '''# "пятерка" и "не пятерка" из набора рукописных цифр MNIST</font> '''from''' sklearn.png|600pxmetrics '''import''' precision_recall_curve '''import''' matplotlib.pyplot '''as''' plt '''import''' numpy '''as''' np '''from''' sklearn.datasets '''import''' fetch_openml '''from''' sklearn.model_selection '''import''' cross_val_predict '''from''' sklearn.linear_model '''import''' SGDClassifier mnist = fetch_openml('mnist_784', version=1) X, y = mnist["data"], mnist["target"] y = y.astype(np.uint8) X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], y[60000:] y_train_5 = (y_train == 5) <font color="green"># True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</font> y_test_5 = (y_test == 5) sgd_clf = SGDClassifier(random_state=42)<font color="green"> # классификатор на основе метода стохастического градиентного спуска (Stochastic Gradient Descent SGD)</font> sgd_clf.fit(X_train, y_train_5) <font color="green"># обучаем классификатор распозновать пятерки на целом обучающем наборе</font> y_train_pred = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3) y_scores = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3, method="decision_function") precisions, recalls, thresholds = precision_recall_curve(y_train_5, y_scores) def plot_precision_recall_vs_threshold(precisions, recalls, thresholds): plt.plot(recalls, precisions, linewidth=2) plt.xlabel('Recall') plt.ylabel('Precision') plt.title('Precision-Recall curve') plt.savefig("Precision_Recall_curve.png") plot_precision_recall_vs_threshold(precisions, recalls, thresholds) plt.show()

=== MSE, Средняя квадратичная ошибка (англ. Mean Squared Error (средняя квадратичная ошибка, MSE) === ''MSE'' применяется в ситуациях, когда нам надо подчеркнуть большие ошибки и выбрать модель, которая дает меньше больших ошибок прогноза. Грубые ошибки становятся заметнее за счет того, что ошибку прогноза мы возводим в квадрат. И модель, которая дает нам меньшее значение среднеквадратической ошибки, можно сказать, что что у этой модели меньше грубых ошибок.

=== MAE, Cредняя абсолютная ошибка (англ. Mean Absolute Error (средняя абсолютная ошибка, MAE) ===

Среднеквадратичная ошибка подходит для сравнения двух моделей или для контроля качества во время обучения, но не позволяет сделать выводов о том, на сколько хорошо данная модель решает задачу. Например, MSE = 10 является очень плохим показателем, если целевая переменная принимает значения от 0 до 1, и очень хорошим, если целевая переменная лежит в интервале (10000, 100000). В таких ситуациях вместо среднеквадратичной ошибки полезно использовать коэффициент детерминации, или коэффициент {{---}} <math>R^2</math>

=== MAPE, Средняя абсолютная процентная ошибка (англ. Mean Absolute Percentage Error (средняя абсолютная процентная ошибка, MAPE) ===

=== RMSE, Корень из средней квадратичной ошибки (англ. Root Mean Squared Error (корень из средней квадратичной ошибки, RMSE) ===

Примерно такая же проблема, как и в MAPE: так как каждое отклонение возводится в квадрат, любое небольшое отклонение может значительно повлиять на показатель ошибки. Стоит отметить, что существует также ошибка MSE, из которой RMSE как раз и получается путем извлечения корня. Но так как MSE дает расчетные единицы измерения в квадрате, то использовать данную ошибку будет немного неправильно.

=== SMAPE, Symmetric Cимметричная MAPE (симметричная англ. Symmetric MAPE, SMAPE) ===

=== MASE, Средняя абсолютная масштабированная ошибка (англ. Mean absolute scaled error (cредняя абсолютная масштабированная ошибка, MASE) ===

Обратите внимание, что в ''MASE'' мы имеем дело с двумя суммами: та, что в числителе, соответствует тестовой выборке, та, что в знаменателе - обучающей. Вторая фактически представляет собой среднюю абсолютную ошибку прогноза по методу Naive. Она же соответствует среднему абсолютному отклонению ряда в первых разностях. Эта величина, по сути, показывает, насколько обучающая выборка предсказуема. Она может быть равна нулю только в том случае, когда все значения в обучающей выборке равны друг другу, что соответствует отсутствию каких-либо изменений в ряде данных, ситуации на практике почти невозможной. Кроме того, если ряд имеет тендецию тенденцию к росту либо снижению, его первые разности будут колебаться около некоторого фиксированного уровня. В результате этого по разным рядам с разной структурой, знаменатели будут более-менее сопоставимыми. Всё это, конечно же, является очевидными плюсами ''MASE'', так как позволяет складывать разные значения по разным рядам и получать несмещённые оценки.

Но, конечно же, без минусов нельзя. Проблема Недостаток ''MASE'' в том, что её тяжело интерпретировать. Например, ''MASE''=1.21 ни о чём, по сути, не говорит. Это просто означает, что ошибка прогноза оказалась в 1.21 раза выше среднего абсолютного отклонения ряда в первых разностях, и ничего более.

Хороший способ оценки модели предусматривает применение [[Кросс-валидация|кросс-валидации]](cкользящего контроля или перекрестной проверки). В этом случае фиксируется некоторое множество разбиений исходной выборки на две подвыборки: обучающую и контрольную. Для каждого разбиения выполняется настройка алгоритма по обучающей подвыборке, затем оценивается его средняя ошибка на объектах контрольной подвыборки. Оценкой скользящего контроля называется средняя по всем разбиениям величина ошибки на контрольных подвыборках.

# [https://compscicenter.ru/media/courses/2018-autumn/spb-recommendation/materials/lecture02-linregr_1.pdf] Соколов Е. Семинар по выбору моделейА. Лекция линейная регрессия