193
правки
Изменения
→Сравнение гребниевой и лассо регрессий
|[[Файл: Ridge_and_Lasso_Regression.png|400px|thumb|Рис.3. Сравнение гречневой и лассо регрессий, пример для двумерного пространства независимых переменных.<br/>Бирюзовые области изображают ограничения на коэффициенты <tex>\beta</tex>, эллипсы {{---}} некоторые значения функции наименьшей квадратичной ошибки.]]
|}
Также полезно будет рассмотреть простую модельную задачу. Пусть $l = n$ и матрица объекты-признаки является единичной $F = I$. Тогда МНК-решение дает вектор коэффициентов $\beta$:
:$\beta^* = argmin(\sum_{i=1}^l(\beta_{i} - y_{i})^2)$
:$\beta_{j}^* = y_{j}$
В случае с гребниевой регрессией:
:$\beta_{j}^* = \frac{y_{j}}{1 + \lambda}$
В случае с лассо регрессией:
:$\beta_{j}^* = \begin{cases} y_{j} - \lambda / 2, y_{j} > \lambda / 2 \\ y_{j} + \lambda / 2, y_{j} < -\lambda / 2 \\ 0, |y_{j}| \leq \lambda / 2 \end{cases}
В итоге на графиках зависимости $b_{j}^*$ от $y_{j}$ можно увидеть описанные ранее особенности данных регуляризованных линейных регрессий.
==Регуляризация в алгоритмах==
