Изменения

[[Файл: Ridge and Lasso RegressionRidge_and_Lasso_Regression.png|400px|thumb|Рис.1. Сравнение Лассо- и Ридж- регрессии. Пример для двумерного пространства независимых переменных]]

Различия Лассолассо- и Риджридж-регрессии в том, что первая может приводить к обращению некоторых независимых переменных в ноль, тогда как вторая уменьшает их до значений, близких к нулю. Попробуем разобраться, почему так происходит. Рассмотрим двумерное пространство независимых переменных. На рисунке 1 изображены ограничения на коэффициенты <tex>\beta</tex>, эллипсами изображены значения функции стоимости (<tex>|\beta_1| + |\beta_2| \leq t</tex> для лассо и <tex>Q\beta_1^2 + \beta_2^2 \leq t^2</tex>для ридж), эллипсами изображены значения функции наименьшей квадратичной ошибки. Оба метода вычисляют коэффициенты посредством нахождения первой точки касания эллипса с фигуройфигуры, отображающей ограничения на <tex>\beta</tex>. Если точка пересечения лежит на оси, один из коэффициентов будет равен нулю, а значит, значение соответствующей независимой переменной не будет учитываться.