Линейная регрессия

Линейная регрессия (англ. linear regression) — метод восстановления зависимости одной (объясняемой, зависимой) переменной [math] y [/math] от другой или нескольких других переменных (факторов, регрессоров, независимых переменных) [math] x [/math] с линейной функцией зависимости. Данный метод позволяет предсказывать значения зависимой переменной [math] y [/math] по значениям независимой переменной [math] x [/math].

Задача

Дано

• [math] f_1(x), \dots ,f_n(x) [/math] - числовые признаки
• модель многомерной линейной регрессии:

[math] f(x,\alpha) = \sum\limits_{j=1}^n \alpha_j f_j(x) [/math],

где [math] a \in R^n [/math]

• обучающая выборка: множество из пар [math](x_i, y_i)_{i=1 \dots n}[/math]
• [math] x_i [/math] - объекты из множества [math] X = R^n [/math]
• [math] y_i [/math] - объекты из множества [math] X = R [/math]

Перейдем к матричным обозначениям:

[math] \underset{l \times n}{F} = \begin{pmatrix} f_1(x_1) & \dots & f_n(x_1) \\ \dots & \dots & \dots \\ f_n(x_1) & \dots & f_n(x_l) \end{pmatrix} , \underset{l \times 1}{y} = \begin{pmatrix} y_1 \\ \dots \\ y_l \end{pmatrix}, \underset{n \times 1}{\alpha} = \begin{pmatrix} \alpha_1 \\ \dots \\ \alpha_l \end{pmatrix} [/math]