276
правок
Изменения
→Гребневая регрессия (ридж-регрессия)
На практике чаще встречается проблема сильной корреляции между независимыми переменными. В этом случае оценки параметров модели получить можно, но они будут неустойчивыми.
===ИдеяОписание===Напомним решение для задачу многомерной линейной регрессии:Рассматривается линейная зависимость <tex>f(x, \beta* = (F^T F)^{-1} F^T y = F^+ y\langle \beta, x \rangle</tex>.
Находим вектор <tex>\beta^*</tex>, при котором достигается минимум среднего квадрата ошибки:
<center><tex>Q(\beta) = ||F \beta - y||^2</tex></center>
<center><tex>\beta^*=\arg \min\limits_\beta Q(\beta)</tex></center>
Методом наименьших квадратов находим решение:
<center><tex>\beta^* = (F^T F)^{-1} F^T y</tex></center>
В условиях мультиколлинеарности матрица <tex>F^T F</tex> становится плохо обусловленной.
Для решения этой проблемы добавим к функционалу <tex>Q</tex> регуляризационное слагаемое:
<center><tex>Q_{\tau}(\beta) = ||F \beta - y||^2 + \tau ||\beta||^2</tex>,</center>
где <tex>\tau</tex> {{---}} неотрицательный параметр.
Решением в этом случае будет
<center><tex>\beta^* = (F^T F + \tau I_n)^{-1} F^T y</tex></center>
Это изменение увеличивает собственные значения матрицы <tex>F^T F</tex>, но не изменяет ее собственные вектора. В результате имеем хорошо обусловленную матрицу.
Диагональная матрица <tex>\tau I_n</tex> называется '''гребнем'''.
===Пример кода для Scikit-learn===
