Линейная регрессия — различия между версиями

Материал из Викиконспекты
Перейти к: навигация, поиск
Строка 12: Строка 12:
 
* <tex> x_i </tex> - объекты из множества <tex> X = R^n </tex>
 
* <tex> x_i </tex> - объекты из множества <tex> X = R^n </tex>
 
* <tex> y_i </tex> - объекты из множества <tex> X = R </tex>
 
* <tex> y_i </tex> - объекты из множества <tex> X = R </tex>
 +
 +
Перейдем к матричным обозначениям:
 +
 +
<tex>
 +
\underset{l \times n}{F} =
 +
\begin{pmatrix}
 +
  f_1(x_1) & \dots & f_n(x_1) \\
 +
  \dots & \dots & \dots \\
 +
  f_n(x_1) & \dots & f_n(x_l)
 +
\end{pmatrix}
 +
,
 +
 +
\underset{l \times 1}{y} =
 +
\begin{pmatrix}
 +
  y_1 \\
 +
  \dots \\
 +
  y_l
 +
\end{pmatrix},
 +
 +
\underset{n \times 1}{\alpha} =
 +
\begin{pmatrix}
 +
  \alpha_1 \\
 +
  \dots \\
 +
  \alpha_l
 +
\end{pmatrix}
 +
 +
 +
</tex>

Версия 15:25, 5 марта 2019

Линейная регрессия (англ. linear regression) — метод восстановления зависимости одной (объясняемой, зависимой) переменной [math] y [/math] от другой или нескольких других переменных (факторов, регрессоров, независимых переменных) [math] x [/math] с линейной функцией зависимости. Данный метод позволяет предсказывать значения зависимой переменной [math] y [/math] по значениям независимой переменной [math] x [/math].

Задача

Дано

  • [math] f_1(x), \dots ,f_n(x) [/math] - числовые признаки
  • модель многомерной линейной регрессии:
[math] f(x,\alpha) = \sum\limits_{j=1}^n \alpha_j f_j(x) [/math],

где [math] a \in R^n [/math]

  • обучающая выборка: множество из пар [math](x_i, y_i)_{i=1 \dots n}[/math]
  • [math] x_i [/math] - объекты из множества [math] X = R^n [/math]
  • [math] y_i [/math] - объекты из множества [math] X = R [/math]

Перейдем к матричным обозначениям:

[math] \underset{l \times n}{F} = \begin{pmatrix} f_1(x_1) & \dots & f_n(x_1) \\ \dots & \dots & \dots \\ f_n(x_1) & \dots & f_n(x_l) \end{pmatrix} , \underset{l \times 1}{y} = \begin{pmatrix} y_1 \\ \dots \\ y_l \end{pmatrix}, \underset{n \times 1}{\alpha} = \begin{pmatrix} \alpha_1 \\ \dots \\ \alpha_l \end{pmatrix} [/math]