276
правок
Изменения
→Лассо-регрессия
==Лассо-регрессия==
===Описание===
[[Файл: Ridge and Lasso Regression.png|400px|thumb|Рис.1. Сравнение Лассо- и Ридж- регрессии. Пример для двумерного пространства независимых переменных]]
'''Метод регрессии лассо''' (англ. ''LASSO, Least Absolute Shrinkage and Selection Operator'') похож на гребневую регрессию:
<center><tex>Q_{\lambda}(\beta) = ||F \beta - y||^2 + \lambda ||\beta||</tex>,</center>
В ходе минимизации некоторые коэффициенты становятся равными нулю, что определяет отбор информативных признаков.
Различия Лассо- и Ридж-регрессии в том, что первая может приводить к обращению некоторых независимых переменных в ноль, тогда как вторая уменьшает их до значений, близких к нулю. Попробуем разобраться, почему так происходит. Рассмотрим двумерное пространство независимых переменных. На рисунке 1 изображены ограничения на коэффициенты <tex>\beta</tex>, эллипсами изображены значения функции стоимости <tex>Q</tex>. Оба метода вычисляют коэффициенты посредством нахождения первой точки касания эллипса с фигурой, отображающей ограничения на <tex>\beta</tex>. Если точка пересечения лежит на оси, один из коэффициентов будет равен нулю, а значит, значение соответствующей независимой переменной не будет учитываться.
===Пример кода для Scikit-learn===
