Линейная регрессия — различия между версиями

Материал из Викиконспекты
Перейти к: навигация, поиск
Строка 12: Строка 12:
 
* <tex> x_i </tex> - объекты из множества <tex> X = R^n </tex>
 
* <tex> x_i </tex> - объекты из множества <tex> X = R^n </tex>
 
* <tex> y_i </tex> - объекты из множества <tex> X = R </tex>
 
* <tex> y_i </tex> - объекты из множества <tex> X = R </tex>
 +
 +
==== Матричные обозначения ====
  
 
Перейдем к матричным обозначениям:
 
Перейдем к матричным обозначениям:
Строка 45: Строка 47:
 
* <tex> y </tex> - вектор ответов, или целевой вектор
 
* <tex> y </tex> - вектор ответов, или целевой вектор
 
* <tex> \alpha </tex> - вектор коэффициентов
 
* <tex> \alpha </tex> - вектор коэффициентов
 +
 +
==== Постановка задачи ====
  
 
В этих трех векторно-матричных обозначениях очень удобно расписать постановку задачи наименьших квадратов:
 
В этих трех векторно-матричных обозначениях очень удобно расписать постановку задачи наименьших квадратов:
Строка 50: Строка 54:
 
<tex> Q(\alpha, X^l) = \sum\limits_{i=1}^n (f(x_i, \alpha) - y_i)^2 = || F\alpha - y ||^2 \rightarrow \underset{\alpha}{min} </tex>
 
<tex> Q(\alpha, X^l) = \sum\limits_{i=1}^n (f(x_i, \alpha) - y_i)^2 = || F\alpha - y ||^2 \rightarrow \underset{\alpha}{min} </tex>
  
==== Задача ====
+
Необходимо найти вектор <tex> \alpha </tex> при известной матрице <tex> F </tex> и известном вектор-столбце <tex> y </tex>.
  
Необходимо найти вектор <tex> \alpha </tex> при известной матрице <tex> F </tex> и известном вектор-столбце <tex> y </tex>.
+
== Решение ==
 +
 
 +
==== Нормальная система уравнений ====

Версия 17:04, 5 марта 2019

Линейная регрессия (англ. linear regression) — метод восстановления зависимости одной (объясняемой, зависимой) переменной [math] y [/math] от другой или нескольких других переменных (факторов, регрессоров, независимых переменных) [math] x [/math] с линейной функцией зависимости. Данный метод позволяет предсказывать значения зависимой переменной [math] y [/math] по значениям независимой переменной [math] x [/math].

Задача

Дано

  • [math] f_1(x), \dots ,f_n(x) [/math] - числовые признаки
  • модель многомерной линейной регрессии:
[math] f(x,\alpha) = \sum\limits_{j=1}^n \alpha_j f_j(x) [/math],

где [math] a \in R^n [/math]

  • обучающая выборка: множество из пар [math](x_i, y_i)_{i=1 \dots n}[/math]
  • [math] x_i [/math] - объекты из множества [math] X = R^n [/math]
  • [math] y_i [/math] - объекты из множества [math] X = R [/math]

Матричные обозначения

Перейдем к матричным обозначениям:

[math] \underset{l \times n}{F} = \begin{pmatrix} f_1(x_1) & \dots & f_n(x_1) \\ \dots & \dots & \dots \\ f_n(x_1) & \dots & f_n(x_l) \end{pmatrix} , \underset{l \times 1}{y} = \begin{pmatrix} y_1 \\ \dots \\ y_l \end{pmatrix}, \underset{n \times 1}{\alpha} = \begin{pmatrix} \alpha_1 \\ \dots \\ \alpha_l \end{pmatrix} [/math]

, где

  • [math] F [/math] - матрица объектов-признаков, где строки соответствуют объектам а столбцы - признакам
  • [math] y [/math] - вектор ответов, или целевой вектор
  • [math] \alpha [/math] - вектор коэффициентов

Постановка задачи

В этих трех векторно-матричных обозначениях очень удобно расписать постановку задачи наименьших квадратов:

[math] Q(\alpha, X^l) = \sum\limits_{i=1}^n (f(x_i, \alpha) - y_i)^2 = || F\alpha - y ||^2 \rightarrow \underset{\alpha}{min} [/math]

Необходимо найти вектор [math] \alpha [/math] при известной матрице [math] F [/math] и известном вектор-столбце [math] y [/math].

Решение

Нормальная система уравнений