Изменения

* Некредитоспособный заёмщик классифицирован как некредитоспособный, т.е. положительный класс распознан как положительный. Наблюдения, для которых это имеет место называются '''истинно-положительными''' ('''true positiveTrue Positive''' {{---}} '''TP''').* Кредитоспособный заёмщик классифицирован как кредитоспособный, т.е. отрицательный класс распознан как отрицательный. Наблюдения, которых это имеет место, называются '''истинно отрицательными''' ('''true negativeTrue Negative''' {{---}} '''TN''').* Кредитоспособный заёмщик классифицирован как некредитоспособный, т.е. имела место ошибка, в результате которой отрицательный класс был распознан как положительный. Наблюдения, для которых был получен такой исход классификации, называются '''ложно-положительными''' ('''false positiveFalse Positive''' {{---}} '''FP'''), а ошибка классификации называется '''ошибкой I рода'''.* Некредитоспособный заёмщик распознан как кредитоспособный, т.е. имела место ошибка, в результате которой положительный класс был распознан как отрицательный. Наблюдения, для которых был получен такой исход классификации, называются '''ложно-отрицательными''' ('''false negativeFalse Negative''' {{---}} '''FN'''), а ошибка классификации называется '''ошибкой II рода'''.

[[Файл:Confusion_matrix.png{|500px]]class="wikitable" style="text-align: center"||<math>y = 1</math>|<math>y = 0</math>|-|<math>a ( x ) = 1</math>|Истинно-положительный ('''True Positive — TP''')|Ложно-положительный ('''False Positive — FP''')|-|<math>a ( x ) = 0</math>|Ложно-отрицательный ('''False Negative — FN''')|Истинно-отрицательный ('''True Negative — TN''')|}

<font color="green">'''# Пример классификатора, способного проводить различие между всего лишь двумя</font> <font color="green">'''# классами, "пятерка" и "не пятерка" из набор данных набора рукописных цифр MNIST</font>

y_train_5 = (y_train == 5) <font color="green"># True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</font>

sgd_clf = SGDClassifier(random_state=42) <font color="green"> #классификатор на основе метода стохастического градиентного спуска (англ. Stochastic Gradient Descent SGD)</font> sgd_clf.fit(X_train, y_train_5) <font color="green">#обучаем классификатор распозновать пятерки на целом обучающем наборе</font> <font color="green"># Для расчета матрицы ошибок сначала понадобится иметь набор прогнозов, чтобы их можно было сравнивать с фактическими целями # Можно получить прогнозы и на тестовом наборе. Но мы пока тестовый набор не трогаем. Тестовый набор используем только в самом конце проекта # после того, как будет готов классификатор, готовый кзапуску</font>

<font color="green"># array([[53892, 687], # [ 1891, 3530]])</font>

y_train_5 = (y_train == 5) <font color="green"># True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</font>

y_train_perfect_predictions = y_train_5 <font color="green"># притворись, что мы достигли совершенства</font>

<font color="green"># array([[54579, 0], # [ 0, 5421]])</font>

<font color="green">'''# Пример классификатора, способного проводить различие между всего лишь двумя '''# классами, "пятерка" и "не пятерка" из набор данных набора рукописных цифр MNIST</font>

y_train_5 = (y_train == 5) <font color="green"> # True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</font>

sgd_clf = SGDClassifier(random_state=42) <font color="green">#классификатор на основе метода стохастического градиентного спуска (Stochastic Gradient Descent SGD)</font> sgd_clf.fit(X_train, y_train_5) <font color="green">#обучаем классификатор распозновать пятерки на целом обучающем наборе</font>

<font color="green"># print(confusion_matrix(y_train_5, y_train_pred))

# [ 1891, 3530]])</font> print(accuracy_score(y_train_5, y_train_pred)) <font color="green"> # == (53892 + 3530) / (53892 + 3530 + 1891 +687)</font>

<font color="green"># 0.9570333333333333</font>

<font color="green"># код для для подсчета точности и полноты:</font>

'''# классами, "пятерка" и "не пятерка" из набор данных набора рукописных цифр MNIST</font>

y_train_5 = (y_train == 5) <font color="green"># True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</font>

sgd_clf = SGDClassifier(random_state=42) <font color="green"> #классификатор на основе метода стохастического градиентного спуска (Stochastic Gradient Descent SGD)</font> sgd_clf.fit(X_train, y_train_5) <font color="green">#обучаем классификатор распозновать пятерки на целом обучающем наборе</font>

<font color="green"># print(confusion_matrix(y_train_5, y_train_pred))

# [ 1891, 3530]])</font> print(precision_score(y_train_5, y_train_pred)) <font color="green"># == 3530 / (3530 + 687)</font> print(recall_score(y_train_5, y_train_pred)) <font color="green"># == 3530 / (3530 + 1891)</font>

<font color="green"># 0.8370879772350012 # 0.6511713705958311</font>

<font color="green"># код для подсчета метрики F-mera:</font>

'''# классами, "пятерка" и "не пятерка" из набор данных набора рукописных цифр MNIST</font>

y_train_5 = (y_train == 5) <font color="green"> # True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</font>

sgd_clf = SGDClassifier(random_state=42) <font color="green"> #классификатор на основе метода стохастического градиентного спуска (Stochastic Gradient Descent SGD)</font> sgd_clf.fit(X_train, y_train_5) <font color="green">#обучаем классификатор распознавать пятерки на целом обучающем наборе</font>

<font color="green"># 0.7325171197343846</font>

<font color="green"># Код отрисовки ROC-кривой</font>

'''# "пятерка" и "не пятерка" из набор данных набора рукописных цифр MNIST</font>

y_train_5 = (y_train == 5) <font color="green"># True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</font>

sgd_clf = SGDClassifier(random_state=42) <font color="green">#классификатор на основе метода стохастического градиентного спуска (Stochastic Gradient Descent SGD)</font> sgd_clf.fit(X_train, y_train_5) <font color="green">#обучаем классификатор распозновать пятерки на целом обучающем наборе</font>

<font color="green"># Код отрисовки Precison-recall кривой</font>

'''# "пятерка" и "не пятерка" из набор данных набора рукописных цифр MNIST</font>

y_train_5 = (y_train == 5) <font color="green"># True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки</font>

sgd_clf = SGDClassifier(random_state=42) <font color="green"> #классификатор на основе метода стохастического градиентного спуска (Stochastic Gradient Descent SGD)</font> sgd_clf.fit(X_train, y_train_5) <font color="green">#обучаем классификатор распозновать пятерки на целом обучающем наборе</font>

Примерно такая же проблема, как и в MAPE: так как каждое отклонение возводится в квадрат, любое небольшое отклонение может значительно повлиять на показатель ошибки. Стоит отметить, что существует также ошибка MSE, из которой RMSE как раз и получается путем извлечения корня. Но так как MSE дает расчетные единицы измерения в квадрате, то использовать данную ошибку будет немного неправильно.

Обратите внимание, что в ''MASE'' мы имеем дело с двумя суммами: та, что в числителе, соответствует тестовой выборке, та, что в знаменателе - обучающей. Вторая фактически представляет собой среднюю абсолютную ошибку прогноза по методу Naive. Она же соответствует среднему абсолютному отклонению ряда в первых разностях. Эта величина, по сути, показывает, насколько обучающая выборка предсказуема. Она может быть равна нулю только в том случае, когда все значения в обучающей выборке равны друг другу, что соответствует отсутствию каких-либо изменений в ряде данных, ситуации на практике почти невозможной. Кроме того, если ряд имеет тендецию тенденцию к росту либо снижению, его первые разности будут колебаться около некоторого фиксированного уровня. В результате этого по разным рядам с разной структурой, знаменатели будут более-менее сопоставимыми. Всё это, конечно же, является очевидными плюсами ''MASE'', так как позволяет складывать разные значения по разным рядам и получать несмещённые оценки.

Но, конечно же, без минусов нельзя. Проблема Недостаток ''MASE'' в том, что её тяжело интерпретировать. Например, ''MASE''=1.21 ни о чём, по сути, не говорит. Это просто означает, что ошибка прогноза оказалась в 1.21 раза выше среднего абсолютного отклонения ряда в первых разностях, и ничего более.

Хороший способ оценки модели предусматривает применение [[Кросс-валидация|кросс-валидации]](cкользящего контроля или перекрестной проверки). В этом случае фиксируется некоторое множество разбиений исходной выборки на две подвыборки: обучающую и контрольную. Для каждого разбиения выполняется настройка алгоритма по обучающей подвыборке, затем оценивается его средняя ошибка на объектах контрольной подвыборки. Оценкой скользящего контроля называется средняя по всем разбиениям величина ошибки на контрольных подвыборках.

# [https://compscicenter.ru/media/courses/2018-autumn/spb-recommendation/materials/lecture02-linregr_1.pdf] Соколов Е. Семинар по выбору моделейА. Лекция линейная регрессия