Изменения
→Лассо регрессия
В новых переменных функционал становится гладким, но добавляются ограничения-неравенства:
:<tex>\begin{cases} Q(u, v) = \sum\limits_{i=1}^l\mathcal{L}_{i}(u - v) + \lambda \sum\limits_{j=1}^n(u_{j} + v_{j}) \rightarrow \min\limits_{u,v} \\ u_{j} \geq 0, v_{j} \geq 0, \: j=1,\ldots,n\end{cases} </tex>
Для любого <tex>j</tex> хотя бы одно из ограничений <tex>u_{j} \geq 00</tex> и <tex>v_{j} \geq 0</tex> обращается в равенство, иначе второе слагаемое в <tex>Q(u, v)</tex> можно было бы уменьшить, не изменив первое. Если гиперпараметр <tex>\lambda</tex> устремить к <tex>\infty</tex>, в какой-то момент все <tex>2n</tex> ограничений обратятся в равенство. Постепенное увеличение гиперпараметра <tex>\lambda</tex> приводит к увеличению числа таких <tex>j</tex>, для которых <tex>u_{j} = v_{j} = 0</tex>, откуда следует, что <tex>\beta_{j} = 0</tex>. Как говорилось ранее, в линейных моделях это означает, что значения <tex>j</tex>-го признака игнорируются, и его можно исключить из модели.
===Эластичная сеть===
===Гребневая регрессия===
Итоговый минимизируемый функционал с поправкой:
===Лассо регрессия===
Итоговый минимизируемый функционал с поправкой:
[[Категория: Машинное обучение]]
[[Категория: Регрессия]]
