Изменения

Перейти к: навигация, поиск

Регуляризация

682 байта добавлено, 03:21, 19 января 2020
Мотивация
В качестве наглядного примера можно рассмотреть линейные регрессионные модели.
Восстановить зависимость для нескольких точек можно пытаться полиномами разной степениM.
{|align="center"
|-valign="top"
|[[Файл:High_bias_regNormal_bias_reg.png|200px|thumb|Рис 1. Недообучение. M=1]] |[[Файл:Normal_bias_reg.png|200px|thumb|Рис 2. Норма. M=2]] |[[Файл:High_variance_reg.png|200px|thumb|Рис 32. Переобучение. M=4]]
|}
 
Как можно видеть на Рис 1. представлена зависимость, которая хорошо подходит для описания данных, а на Рис. 2 - модель слишком сильно заточилась под обучающую выборку.
 
Одним из способов бороться с этим эффектом - использовать регуляризацию, т. е. добавлять некоторый штраф за большие значения коэффициентов у модели. Тем самым мы запретим слишком "резкие" изгибы и ограничим возможность подстраивания модели под данные.
==Основные виды регуляризации==
193
правки

Навигация