Изменения

* <tex> f_1(x), \dots ,f_n(x) </tex> - — числовые признаки;* модель многомерной линейной регрессии:<centerbr> <tex> f(x,\alpha) = \sum\limits_{j=1}^n \alpha_j f_j(x) </tex>, </centerbr>где <tex> a \in R^n </tex>;* обучающая выборка: множество из пар <tex>(x_i, y_i)_{i=1 \dots n}</tex>;* <tex> x_i </tex> - — объекты из множества <tex> X = R^n </tex>;* <tex> y_i </tex> - — объекты из множества <tex> X = R </tex>.

</tex> , где* <tex> F </tex> - — матрица объектов-признаков, где строки соответствуют объектам а столбцы - — признакам;* <tex> y </tex> - — вектор ответов, или целевой вектор;* <tex> \alpha </tex> - — вектор коэффициентов.

<tex> Q(\alpha, X^l) = \sum\limits_{i=1}^n (f(x_i, \alpha) - y_i)^2 = || F\alpha - y ||^2 \rightarrow \underset{\alpha}{min} </tex>.

Запишем необходимые условия минимума в матричном виде.:

<tex> \frac{\partial Q }{\partial \alpha } (\alpha) = 2F^T (F\alpha - y) = 0 </tex>.

где <tex> F^T F - — n \times n </tex> матрица.

Значение функционала: <tex> Q(\alpha^*) = ||P_F y - y||^2 </tex>, <br> где <tex> P_F = F F^+ = F (F^T F)^{-1} F^T </tex> - — ''проекционная матрица''.

=== Сингулярное Решение МНК через сингулярное разложение ===

Воспользуемся понятием [https://ru.wikipedia.org/wiki/%D0%A1%D0%B8%D0%BD%D0%B3%D1%83%D0%BB%D1%8F%D1%80%D0%BD%D0%BE%D0%B5_%D1%80%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5/ [ Сингулярное разложение | сингулярного разложения ]], которое позволяет произвольную прямоугольную матрицу представить в виде произведения трех матриц:

Теперь , зная псевдо-обратную матрицу, найдем решение задачи наименьших квадратов: <br> <tex> \alpha^* = F^+ y = U D^{-1} V^T y = \sum\limits_{j=1}^n \frac{ 1 }{ \sqrt{ \lambda_j } } u_j (v_j^T y) </tex>.

Если имеются сингулярные числа, близкие к 0, то:

==Примеры кода===== Пример кода для Scikit-learn ===  '''import''' matplotlib.pyplot '''as''' plt '''from''' sklearn '''import''' datasets, linear_model <font color = green># generate dataset</font> X, y = datasets.make_regression(n_samples=1_000, n_features=1, noise=8, shuffle=True) <font color = green># test and train data sizes</font> train_size = 700 test_size = 300 <font color = green># split the data into training/testing sets</font> X_train = X[:-train_size] X_test = X[-test_size:] <font color = green># split the targets into training/testing sets</font> y_train = y[:-train_size] y_test = y[-test_size:] <font color = green># create linear regression object</font> regr = linear_model.LinearRegression() <font color = green># train the model using the training sets</font> regr.fit(X_train, y_train) <font color = green># make predictions using the testing set</font> y_pred = regr.predict(X_test) <font color = green># plot outputs</font> plt.scatter(X_test, y_test, color='red', s=5) plt.plot(X_test, y_pred, color='blue', linewidth=2) plt.xticks(()) plt.yticks(()) plt.show() Возможный результат исполнения программы: [[Файл: Linear_regression_example.png]] ===Пример на языке Java===Пример линейной регресии с применением <code>weka.classifiers.functions.LinearRegression</code><ref>[http://weka.sourceforge.net/doc.dev/weka/classifiers/functions/LinearRegression.html/ Weka, Linear Regression]</ref> <code>Maven</code> зависимомсть: <dependency> <groupId>nz.ac.waikato.cms.weka</groupId> <artifactId>weka-stable</artifactId> <version>3.8.0</version> </dependency>  '''import''' weka.classifiers.functions.LinearRegression; '''import''' weka.core.Instance; '''import''' weka.core.Instances;  <font color="green">//Load Data set</font> '''var''' data = new Instances(new BufferedReader(new FileReader("dataset/house.arff"))); data.setClassIndex(data.numAttributes() - 1); <font color="green">//Build model</font> '''var''' model = new LinearRegression(); '''try''' { model.buildClassifier(data); } '''catch''' (Exception e) { e.printStackTrace(); } <font color="green">//output model</font> System.out.printf("model parameters: %s%n", model); <font color="green">// Now Predicting the cost</font> '''var''' myHouse = data.lastInstance(); '''var''' price = model.classifyInstance(myHouse); System.out.printf("predicted price = %s%n", price) ==Применение== Перечислим несколько примеров реального применения линейной регрессии: * для предсказания скидки на продукты на основе поведения покупателей в прошлом;* экономисты использую линейную регрессия для предсказания экономического роста страны или региона;* застройщики при помощи данного метода могут предсказать, сколько домов он продаст в ближайшие месяцы и по какой цене;* цены на нефть могут быть предсказаны с использованием линейной регрессии. ==См. также== * [[Общие понятия]]* [[Вариации регрессии]]* [[Логистическая регрессия]]* [[Обзор библиотек для машинного обучения на Python]]* [[Переобучение]] ==Источники информации==* [http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%BD%D0%BE%D0%B3%D0%BE%D0%BC%D0%B5%D1%80%D0%BD%D0%B0%D1%8F_%D0%BB%D0%B8%D0%BD%D0%B5%D0%B9%D0%BD%D0%B0%D1%8F_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D1%8F machinelearning.ru {{---}} Многомерная линейная регрессия]* [http://www.machinelearning.ru/wiki/index.php?title=%D0%9B%D0%B8%D0%BD%D0%B5%D0%B9%D0%BD%D0%B0%D1%8F_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D1%8F_%28%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%29 machinelearning.ru {{---}} Линейная регрессия (пример)]* [https://www.coursera.org/learn/vvedenie-mashinnoe-obuchenie/home/info Coursera {{---}} "Введение в машинное обучение", Неделя 4, ]* [http://www.ccas.ru/voron/download/Regression.pdf Лекции по алгоритмам восстановления регрессии К. В. Воронцов]* [https://scikit-learn.org/stable/auto_examples/linear_model/plot_ols.html#sphx-glr-auto-examples-linear-model-plot-ols-py Scikit-Learn {{---}} Linear Regression Example]* [https://www.quora.com/What-are-some-real-world-applications-of-simple-linear-regression What are some real-world applications of "simple" linear regression?] [[Категория: Машинное обучение]][[Категория: Регрессия]]