193
правки
Изменения
Новый план
==Основные виды регуляризации==
Переобучение в большинстве случаев проявляется в том, что в получающихся многочленах итоговые модели имеют слишком большие коэффициентызначения параметров. Соответственно, необходимо добавить в целевую функцию штраф за слишком большие коэффициентытакие значения. Наиболее часто используемые виды регуляризации - <tex >L_{1}</tex> и <tex >L_{2}</tex>, а также их линейная комбинация - эластичная сеть.
===<tex>L_{1}</tex>-регуляризация===
<tex>L_{1}</tex>-регуляризация (англ. ''lasso regression''), или регуляризация через манхэттенское расстояние:
==Вероятностная интерпретация регуляризации==
===Нормальный регуляризатор===
===Лапласовский регуляризатор===
==Регуляризация в линейной регрессии==
===Гребневая регрессия===
===Лассо регрессия===
===Сравнение гребниевой и лассо регрессий===
===Байесовская регрессия===
==Другие использования регуляризации==
===Линейные классификаторы===
===Логистическая регрессия===
===Нейронные сети===
==Алгоритмы, использующие регуляризацию==
===Стохастический градиентный спуск===
==См. также==
==Примечания==
==Источники информации==
