276
правок
Изменения
Нет описания правки
Для решения этой проблемы добавим к функционалу <tex>Q</tex> регуляризационное слагаемое:
<center><tex>Q_{\taulambda}(\beta) = ||F \beta - y||^2 + \tau lambda ||\beta||^2</tex>,</center> где <tex>\taulambda</tex> {{---}} неотрицательный параметр.
Решением в этом случае будет
<center><tex>\beta^* = (F^T F + \tau lambda I_n)^{-1} F^T y</tex></center>
Это изменение увеличивает собственные значения матрицы <tex>F^T F</tex>, но не изменяет ее собственные вектора. В результате имеем хорошо обусловленную матрицу.
Диагональная матрица <tex>\tau lambda I_n</tex> называется '''гребнем'''.
===Пример кода для Scikit-learn===
==Лассо-регрессия==
===Описание===
Метод регрессии лассо (англ. ''LASSO, Least Absolute Shrinkage and Selection Operator'') похож на гребневую регрессию, но вместо добавочного слагаемого здесь используется ограничение на величину абсолютных значений коэффициентов:<center><tex>Q_{\begin{caseslambda}Q(\beta) = ||F \beta - y||^2 + \rightarrow \min\limits_lambda ||\beta \\ \sum\limits_{i=1}^n |\beta_i| \leq \varkappa \end{cases}</tex>,</center>где <tex>\varkappa</tex> {{---}} параметр регуляризации. Этот метод отбирает информативные признакиВ ходе минимизации некоторые коэффициенты становятся равными нулю, что определяет отбор информативных признаков.
===Пример кода для Scikit-learn===
