193
правки
Изменения
→Регуляризация в линейной регрессии
==Регуляризация в линейной регрессии==
{{main|Вариации регресии}}
В [[Линейная регрессия | линейной регрессии]] моделируется линейная зависимость между зависимой и независимой переменной. Таким образом, модель алгоритмов для нее состоит из функций вида:
:$g(x, \beta) = \sum_{j}^n \beta_{j} f_{j}(x)$
В итоге оптимизируемый функционал эмпирического риска выглядит следующим образом:
:$Q(a) = \|F\beta - y\|^2$,
где $F = (f_{x_{i}})_{l \times n}$ - матрица объекты-признаки, $y = (y_{i})_{l \times 1}$ - целевой вектор, $\beta = (\beta_{j})_{n \times 1}$ - вектор параметров.
В процессе минимизации получают выражение для вектора параметров
:$\beta^* = (F^TF)^{-1}F^Ty$
Однако, могут возникнуть проблемы мультиколлинеарности и переобучения в случае, если ковариационная матрица $\sum = F^T F$ плохо обусловлена. Одним из способов борьбы с этими проблемами является '''регуляризация'''.
В основной статье представлены виды линейной регрессии с различными регуляризаторами ($L_{1}$ и $L_{2}$) и их отличие, однако здесь мы рассмотрим эффект от их добавления немного детальнее.
===Гребневая регрессия===
===Лассо регрессия===
===Сравнение гребниевой и лассо регрессий===
