193
правки
Изменения
→Регуляризация в линейной регрессии
:$Q(a) = \|F\beta - y\|^2$,
где $F = (f_{x_{i}})_{l \times n}$ - матрица объекты-признаки, $y = (y_{i})_{l \times 1}$ - целевой вектор, $\beta = (\beta_{j})_{n \times 1}$ - вектор параметров.
:$\beta^* = (F^TF)^{-1}F^Ty$
В итоге, использовав [[Сингулярное разложение | сингулярное разложение]] для представления F и проведя МНК-аппроксимизацию целевого вектора $y$, имеем выражение для нормы вектора \beta:
:$\|\beta^*\|^2 = \sum_{j=1}^n \frac{1}{\lambda_{j}}(v_{j}^Ty)^2$
К сожалению, могут возникнуть проблемы мультиколлинеарности и переобучения в случае, если ковариационная матрица $\sum = F^T F$ плохо обусловлена. Одним из способов борьбы с этими проблемами является '''регуляризация'''.
В основной статье представлены виды линейной регрессии с различными регуляризаторами ($L_{1}$ и $L_{2}$) и их отличие, однако здесь мы рассмотрим будет рассмотрен эффект от их добавления немного детальнее.
===Гребневая регрессия===
К функционалу $Q$ добавляется $L_{2}$-регуляризатор.
Итоговый минимизируемый функционал с поправкой:
:<tex>Q_{\lambda}(\beta) = ||F \beta - y||^2 + \lambda ||\beta||^2</tex>
Итоговое выражение для параметра \beta:
:<tex>\beta_{\tau}^* = (F^TF + \tau I_{n})^{-1}F^Ty</tex>
Таким образом, перед обращением матрицы к ней добавляется "гребень" - диагональная матрица $\tau I_{n}$. При этом все её собственные значения увеличиваются на \tau, а собственные векторы не изменяются. В результате матрица становится хорошо обусловленной, оставаясь в то же время «похожей» на исходную.
Покажем, что происходит с вектором \beta при добавлении гребня. Выразим регуляризованное МНК-решение через сингулярное разложение:
:$\beta_{t}^* = (UD^2U^T + \tau I_{n})^{-1}UDV^{T}y=U(D^2+\tau I_{n})^{-1}DV^Ty=\sum_{j=1}^n \frac{\sqrt{\lambda_{j}}}{\lambda_{j} + \tau}u_{j}(v_{j}^Ty)$
Теперь найдём регуляризованную МНК-аппроксимацию целевого вектора y:
:$F \beta_{\tau}^* = VDU^T \beta_{\tau}^* = V diag(\frac{\lambda_{j}}{\lambda_{j} + \tau})V^Ty = \sum_{j=1}^n \frac{\lambda_{j}}{\lambda_{j} + \tau}v_{j}(v_{j}^Ty)$
Можно увидеть, что в сравнении со случаем
===Лассо регрессия===
К функционалу $Q$ добавляется $L_{1}$-регуляризатор.
Итоговый минимизируемый функционал с поправкой:
:<tex>Q_{\tau}(\beta) = ||F \beta - y||^2 + \tau ||\beta||</tex>
===Сравнение гребниевой и лассо регрессий===
