Линейная регрессия

Линейная регрессия (англ. linear regression) — метод восстановления зависимости одной (объясняемой, зависимой) переменной [math] y [/math] от другой или нескольких других переменных (факторов, регрессоров, независимых переменных) [math] x [/math] с линейной функцией зависимости. Данный метод позволяет предсказывать значения зависимой переменной [math] y [/math] по значениям независимой переменной [math] x [/math].

Задача

Дано

• [math] f_1(x), \dots ,f_n(x) [/math] - числовые признаки
• модель многомерной линейной регрессии:

[math] f(x,\alpha) = \sum\limits_{j=1}^n \alpha_j f_j(x) [/math],

где [math] a \in R^n [/math]

• обучающая выборка: множество из пар [math](x_i, y_i)_{i=1 \dots n}[/math]
• [math] x_i [/math] - объекты из множества [math] X = R^n [/math]
• [math] y_i [/math] - объекты из множества [math] X = R [/math]

Перейдем к матричным обозначениям:

[math] \underset{l \times n}{F} = \begin{pmatrix} f_1(x_1) & \dots & f_n(x_1) \\ \dots & \dots & \dots \\ f_n(x_1) & \dots & f_n(x_l) \end{pmatrix} , \underset{l \times 1}{y} = \begin{pmatrix} y_1 \\ \dots \\ y_l \end{pmatrix}, \underset{n \times 1}{\alpha} = \begin{pmatrix} \alpha_1 \\ \dots \\ \alpha_l \end{pmatrix} [/math]

, где

• [math] F [/math] - матрица объектов-признаков, где строки соответствуют объектам а столбцы - признакам
• [math] y [/math] - вектор ответов, или целевой вектор
• [math] \alpha [/math] - вектор коэффициентов

В этих трех векторно-матричных обозначениях очень удобно расписать постановку задачи наименьших квадратов:

[math] Q(\alpha, X^l) = \sum\limits_{i=1}^n (f(x_i, \alpha) - y_i)^2 = || F\alpha - y ||^2 \rightarrow \underset{\alpha}{min} [/math]