193
правки
Изменения
→Основные виды регуляризации
==Основные виды регуляризации==
Переобучение в большинстве случаев проявляется в том, что в получающихся многочленах слишком большие коэффициенты. Соответственно, необходимо добавить в целевую функцию штраф за слишком большие коэффициенты.Наиболее часто используемые виды регуляризации - <tex >L_{1}</tex> и <tex >L_{2}</tex>, а также их линейная комбинация - эластичная сеть.===<tex>L_{1}</tex>-регуляризация===<tex>L_{1}</tex>-регуляризация (англ. ''lasso regression''), или регуляризация через манхэттенское расстояние: <tex>Q=\sum _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum _{i}{|a_{i}|}</tex>. ==L1=<tex>L_{2}</tex>-регуляризация===<tex>L_{2}</tex>-регуляризация, или регуляризация Тихонова (англ. ''ridge regression'' или ''Tikhonov regularization''): <tex>Q=\sum _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum _{i}{a_{i}}^{2}</tex>.
===Эластичная сеть===
Эластичная сеть (англ. ''elastic net regularization''):
<tex>Q=\sum _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum _{i}{|a_{i}|}+\lambda \sum _{i}{a_{i}}^{2}</tex>.
==Вероятностная интерпретация регуляризации==
