193
правки
Изменения
→Гребневая регрессия
Итоговый минимизируемый функционал с поправкой:
:<tex>Q_{\lambda}(\beta) = ||F \beta - y||^2 + \lambda tau ||\beta||^2</tex>Итоговое выражение для параметра $\beta$:
:<tex>\beta_{\tau}^* = (F^TF + \tau I_{n})^{-1}F^Ty</tex>
Таким образом, перед обращением матрицы к ней добавляется "гребень" {{---}} диагональная матрица $\tau I_{n}$. При этом все её собственные значения увеличиваются на $\tau$, а собственные векторы не изменяются. В результате матрица становится хорошо обусловленной, оставаясь в то же время «похожей» на исходную.
:$\beta_{t}^* = (UD^2U^T + \tau I_{n})^{-1}UDV^{T}y=U(D^2+\tau I_{n})^{-1}DV^Ty=\sum\limits_{j=1}^n \frac{\sqrt{\lambda_{j}}}{\lambda_{j} + \tau}u_{j}(v_{j}^Ty)$
Теперь найдём регуляризованную МНК-аппроксимацию целевого вектора y:
В нерегуляризованном случае:
:$n_{effective} = tr\:F(F^TF)^{-1}F^T = tr\:(F^TF)^{-1}F^TF = tr\:I_{n} = n$
В случае с гребнем:
