Линейная регрессия

2020-11-28T22:45:40Z

46.151.9.162: Пример кода на R

'''Линейная регрессия''' (англ. ''linear regression'') — метод восстановления зависимости одной (объясняемой, зависимой) переменной <tex> y </tex> от другой или нескольких других переменных (факторов, регрессоров, независимых переменных) <tex> x </tex> с линейной функцией зависимости. Данный метод позволяет предсказывать значения зависимой переменной <tex> y </tex> по значениям независимой переменной <tex> x </tex>.

== Задача ==

==== Дано ====

* <tex> f_1(x), \dots ,f_n(x) </tex> — числовые признаки;
* модель многомерной линейной регрессии: <tex> f(x,\alpha) = \sum\limits_{j=1}^n \alpha_j f_j(x) </tex>, где <tex> a \in R^n </tex>;
* обучающая выборка: множество из пар <tex>(x_i, y_i)_{i=1 \dots n}</tex>;
* <tex> x_i </tex> — объекты из множества <tex> X = R^n </tex>;
* <tex> y_i </tex> — объекты из множества <tex> X = R </tex>.

==== Матричные обозначения ====

Перейдем к матричным обозначениям:

<tex>
\underset{l \times n}{F} =
\begin{pmatrix}
f_1(x_1) & \dots & f_n(x_1) \\
\dots & \dots & \dots \\
f_1(x_l) & \dots & f_n(x_l)
\end{pmatrix}
,

\underset{l \times 1}{y} =
\begin{pmatrix}
y_1 \\
\dots \\
y_l
\end{pmatrix},

\underset{n \times 1}{\alpha} =
\begin{pmatrix}
\alpha_1 \\
\dots \\
\alpha_n
\end{pmatrix}

</tex>,

где
* <tex> F </tex> — матрица объектов-признаков, где строки соответствуют объектам а столбцы — признакам;
* <tex> y </tex> — вектор ответов, или целевой вектор;
* <tex> \alpha </tex> — вектор коэффициентов.

==== Постановка задачи ====

В этих трех векторно-матричных обозначениях очень удобно расписать постановку задачи наименьших квадратов:

<tex> Q(\alpha, X^l) = \sum\limits_{i=1}^n (f(x_i, \alpha) - y_i)^2 = || F\alpha - y ||^2 \rightarrow \underset{\alpha}{min} </tex>.

Необходимо найти вектор <tex> \alpha </tex> при известной матрице <tex> F </tex> и известном вектор-столбце <tex> y </tex>.

== Решение ==

=== Нормальная система уравнений ===

Запишем необходимые условия минимума в матричном виде:

<tex> \frac{\partial Q }{\partial \alpha } (\alpha) = 2F^T (F\alpha - y) = 0 </tex>.

Отсюда следует нормальная система задачи МНК:

<tex> F^T F \alpha = F^T y </tex>,

где <tex> F^T F — n \times n </tex> матрица.

Мы получили систему уравнений, откуда можем выразить искомый вектор <tex> \alpha </tex>.

==== Решение системы ====
<tex> \alpha^* = (F^T F)^{-1} F^T y = F^+ y </tex>, где <tex> F^+ </tex> — псевдо-обратная матрица.

Значение функционала: <tex> Q(\alpha^*) = ||P_F y - y||^2 </tex>, где <tex> P_F = F F^+ = F (F^T F)^{-1} F^T </tex> — ''проекционная матрица''.

==== Проблемы ====

В случае мультиколлинеарности (столбцы матрицы <tex> F </tex> линейно-зависимы) нам не удастся найти обратную матрицу к <tex> F^T F </tex> (она будет вырождена).

Если же столбцы матрицы <tex> F </tex> почти линейно-зависимы, то у нас возникнет масса вычислительных проблем с обращением этой матрицы.

=== Решение МНК через сингулярное разложение ===

Воспользуемся понятием [[ Сингулярное разложение | сингулярного разложения ]], которое позволяет произвольную прямоугольную матрицу представить в виде произведения трех матриц:

<tex> F = V D U^T </tex>.

Найдем псевдо-обратную матрицу: <tex> F^+ = (U D V^T V D U^T)^{-1} U D V^T = U D^{-1} V^T = \sum\limits_{j=1}^n \frac{ 1 }{ \sqrt{ \lambda_j } } u_j v_j^T </tex>.

Теперь, зная псевдо-обратную матрицу, найдем решение задачи наименьших квадратов: <tex> \alpha^* = F^+ y = U D^{-1} V^T y = \sum\limits_{j=1}^n \frac{ 1 }{ \sqrt{ \lambda_j } } u_j (v_j^T y) </tex>.

Найдем вектор, которым наша линейная модель аппроксимирует целевой вектор <tex> y </tex>: <tex> F \alpha^* = P_F y = (V D U^T) U D^{-1} V^T y = V V^T y = \sum\limits_{j=1}^n v_j (v_j^T y) </tex>.

Квадрат нормы вектора коэффициентов: <tex> || \alpha^* ||^2 = ||D^{-1} V^T y||^2 = \sum\limits_{j=1}^n \frac{ 1 }{ \lambda_j } (v_j^T y)^2 </tex>.

В 3-х из 4-х формул сингулярные числа оказались в знаменателе. Если имеются сингулярные числа приближающиеся к 0, то мы получаем проблему мультиколлинеарности. Близкие к 0 собственные значения или сингулярные числа — показатель того, что среди признаков есть почти линейно-зависимый.

== Проблема мультиколлинеарности и переобучения ==

Если имеются сингулярные числа близкие к 0, то:

* матрица <tex> \sum = F^T F </tex> плохо обусловлена;
* решение становится неустойчивым и неинтерпретируемым, слишком большие коэффициенты <tex> || \alpha_j || </tex> разных знаков;
* возникает переобучение: на обучении <tex> Q( \alpha^*, X^l ) = ||F \alpha^* - y||^2 </tex> мало; на контроле <tex> Q( \alpha^*, X^k ) = ||F' \alpha^* - y'||^2 </tex> велико.

Стратегии устранения мультиколлинеарности и переобучения:

* отбор признаков, то есть выкидываем те признаки, которые могут оказаться линейно-зависимыми: <tex> f_1, \dots, f_n \rightarrow f_{j_1} \dots, f_{j_m}, m \leq n </tex>;
* регуляризация (накладываем дополнительные ограничения на вектор коэффициентов): <tex> || \alpha || \rightarrow min </tex>;
* преобразование признаков, чтобы в новом признаковом пространстве признаков оказалось меньше, но они хорошо восстанавливали бы исходные: <tex> f_1, \dots, f_n \rightarrow g_1 \dots, g_m, m \ll n </tex>.

==Примеры кода==
=== Пример кода для Scikit-learn ===

'''import''' matplotlib.pyplot '''as''' plt
'''from''' sklearn '''import''' datasets, linear_model

# generate dataset
X, y = datasets.make_regression(n_samples=1_000, n_features=1, noise=8, shuffle=True)

# test and train data sizes
train_size = 700
test_size = 300

# split the data into training/testing sets
X_train = X[:-train_size]
X_test = X[-test_size:]

# split the targets into training/testing sets
y_train = y[:-train_size]
y_test = y[-test_size:]

# create linear regression object
regr = linear_model.LinearRegression()

# train the model using the training sets
regr.fit(X_train, y_train)

# make predictions using the testing set
y_pred = regr.predict(X_test)

# plot outputs
plt.scatter(X_test, y_test, color='red', s=5)
plt.plot(X_test, y_pred, color='blue', linewidth=2)

plt.xticks(())
plt.yticks(())

plt.show()

Возможный результат исполнения программы:

[[Файл: Linear_regression_example.png]]

===Пример на языке Java===
Пример линейной регресии с применением <code>weka.classifiers.functions.LinearRegression</code><ref>[http://weka.sourceforge.net/doc.dev/weka/classifiers/functions/LinearRegression.html/ Weka, Linear Regression]</ref>

<code>Maven</code> зависимомсть:
<dependency>
<groupId>nz.ac.waikato.cms.weka</groupId>
<artifactId>weka-stable</artifactId>
<version>3.8.0</version>
</dependency>

'''import''' weka.classifiers.functions.LinearRegression;
'''import''' weka.core.Instance;
'''import''' weka.core.Instances;

//Load Data set
'''var''' data = new Instances(new BufferedReader(new FileReader("dataset/house.arff")));
data.setClassIndex(data.numAttributes() - 1);
//Build model
'''var''' model = new LinearRegression();
'''try''' { model.buildClassifier(data); }
'''catch''' (Exception e) { e.printStackTrace(); }
//output model
System.out.printf("model parameters: %s%n", model);
// Now Predicting the cost
'''var''' myHouse = data.lastInstance();
'''var''' price = model.classifyInstance(myHouse);
System.out.printf("predicted price = %s%n", price)

===Пример на языке R===
==== Линейная регрессия ====
{{Main|Линейная регрессия|ll=Линейная регрессия}}

# reading data
data <- read.csv("input.csv", sep = ',', header = FALSE)

# evaluating linear regression model
model <- lm(data$x ~ data$y)

# getting summary
print(summary(model))

# visualizing data
plot(data$y, data$x)
lines(data$y, predict(fit), col = 'red')

==== Множественная регрессия ====

# reading data
rdata <- read.csv("input.csv", sep = ',', header = FALSE)

# evaluating regression model
model <- lm(target ~ x + y + z, data = rdata)

# getting summary
print(summary(model))

==== Логистическая регрессия ====
{{Main|Логистическая регрессия|ll=Логистическая регрессия}}
Логистическая регрессия – это модель регрессии, в которой переменная ответа принимает значения 0 или 1 (True или False). Реализация на языке <code>R</code> представлена в следующем фрагменте:

# reading data
rdata <- read.csv("input.csv", sep = ',', header = FALSE)

# evaluating model
model = glm(formula = target ~ x + y + z, data = rdata, family = binomial)

# printing summary
print(summary(model))

==Применение==

Перечислим несколько примеров реального применения линейной регрессии:

* для предсказания скидки на продукты на основе поведения покупателей в прошлом;
* экономисты использую линейную регрессия для предсказания экономического роста страны или региона;
* застройщики при помощи данного метода могут предсказать, сколько домов он продаст в ближайшие месяцы и по какой цене;
* цены на нефть могут быть предсказаны с использованием линейной регрессии.

==См. также==

* [[Общие понятия]]
* [[Вариации регрессии]]
* [[Логистическая регрессия]]
* [[Обзор библиотек для машинного обучения на Python]]
* [[Переобучение]]

==Источники информации==
* [http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%BD%D0%BE%D0%B3%D0%BE%D0%BC%D0%B5%D1%80%D0%BD%D0%B0%D1%8F_%D0%BB%D0%B8%D0%BD%D0%B5%D0%B9%D0%BD%D0%B0%D1%8F_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D1%8F machinelearning.ru {{---}} Многомерная линейная регрессия]
* [http://www.machinelearning.ru/wiki/index.php?title=%D0%9B%D0%B8%D0%BD%D0%B5%D0%B9%D0%BD%D0%B0%D1%8F_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D1%8F_%28%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%29 machinelearning.ru {{---}} Линейная регрессия (пример)]
* [https://www.coursera.org/learn/vvedenie-mashinnoe-obuchenie/home/info Coursera {{---}} "Введение в машинное обучение", Неделя 4, ]
* [http://www.ccas.ru/voron/download/Regression.pdf Лекции по алгоритмам восстановления регрессии К. В. Воронцов]
* [https://scikit-learn.org/stable/auto_examples/linear_model/plot_ols.html#sphx-glr-auto-examples-linear-model-plot-ols-py Scikit-Learn {{---}} Linear Regression Example]
* [https://www.quora.com/What-are-some-real-world-applications-of-simple-linear-regression What are some real-world applications of "simple" linear regression?]

[[Категория: Машинное обучение]]
[[Категория: Регрессия]]

Викиконспекты - Вклад участника [ru]

Линейная регрессия