Регуляризация

Материал из Викиконспекты
Перейти к: навигация, поиск
Определение:
Регуляризация (англ. regularization) в статистике, машинном обучении, теории обратных задач — метод добавления некоторых дополнительных ограничений к условию с целью решить неккоректно поставленную задачу или предотвратить переобучение. Чаще всего эта информация имеет вид штрафа за сложность модели.


Мотивация

Основные виды регуляризации

L1-регуляризация

L2-регуляризация

Эластичная сеть

Вероятностная интерпретация регуляризации

Регуляризация в линейной регрессии

Другие использования регуляризации

Логистическая регрессия

Нейронные сети

Метод опорных вектоов

Стохастический градиентный спуск