Изменения

[[Файл: Ridge_and_Lasso_Regression.png|400px|thumb|Рис.1. Сравнение Лассо- и Ридж- регрессии. Пример , пример для двумерного пространства независимых переменных.<br/>Бирюзовые области изображают ограничения на коэффициенты <tex>\beta</tex>, эллипсы {{---}} некоторые значения функции наименьшей квадратичной ошибки.]]

Различия лассо- и ридж-регрессии в том, что первая может приводить к обращению некоторых независимых переменных в ноль, тогда как вторая уменьшает их до значений, близких к нулю. Рассмотрим для простоты двумерное пространство независимых переменных. На рисунке 1 изображены ограничения В случае ридж-регрессии органичение на коэффициенты <tex>\beta</tex> представляют собой круг (<tex>|\beta_1| ^2 + |\beta_2| ^2 \leq t^2</tex> для ), в случае лассо и -регрессии {{---}} ромб (<tex>|\beta_1^2 | + |\beta_2^2 | \leq t^2</tex> для ридж). Необходимо минимизировать функцию ошибки, эллипсами изображены значения функции наименьшей квадратичной ошибкино при этом соблюсти ограничения на коэффициенты. Оба метода вычисляют коэффициенты посредством нахождения первой С геометрической точки зрения задача состоит в том, чтобы найти точку касания эллипса фигурылинии, отображающей отражающей функцию ошибки с фигурой, отражающей ограничения на <tex>\beta</tex>. Из рисунка 1 интуитивно понятно, что в случае лассо-регрессии эта точка с большой вероятностью будет находиться на углах ромба, то есть лежать на оси, тогда как в случае ридж-регрессии такое происходит очень редко. Если точка пересечения лежит на оси, один из коэффициентов будет равен нулю, а значит, значение соответствующей независимой переменной не будет учитываться.