Изменения

В представленных ниже формулах для эмпирического риска <tex>Q</tex>: <tex>\mathcal{L}</tex> является функцией потерь, а <tex>\beta</tex> - вектором параметров элемента <tex>g(x, \beta)</tex> [[Модель алгоритма и ее выбор | модели алгоритмов]].

:<tex>Q(\beta, X^l)=\sum _{I}^l\mathcal{L}(y_{i}, g(x_{i}, \beta))+\lambda \sum _{j}{|\beta_{j}|}</tex>.

:<tex>Q(\beta, X^l)=\sum _{I}^l\mathcal{L}(y_{i}, g(x_{i}, \beta))+\lambda \sum _{j}{\beta_{j}}^{2}</tex>.

:<tex>Q(\beta, X^l)=\sum _{I}^l\mathcal{L}(y_{i}, g(x_{i}, \beta))+\lambda_{1} \sum _{j}{|\beta_{j}|}+\lambda_{2} \sum _{j}{\beta_{j}}^{2}</tex>.

==Свойства регуляризаторов==

Минимизация регуляризованного cоответствующим образом эмпирического риска приводит в данном случае к выбору такого вектора параметров <tex>\beta</tex>, которое не слишком сильно отклоняется от нуля. В линейных классификаторах это позволяет избежать проблем мультиколлинеарности и переобучения.

Запишем задачу настройки вектора параметров <tex>\beta</tex>:

'''Эластичная сеть'''