Изменения

Перейти к: навигация, поиск

Регуляризация

132 байта добавлено, 10:30, 21 января 2020
Нормальный регуляризатор
===Нормальный регуляризатор===
Пусть вектор <tex>\beta</tex> имеет ''нормальное распределение''<ref>[https://ru.wikipedia.org/wiki/Нормальное_распределение Нормальное распределение]</ref>, все его компоненты независимы и имеют равные дисперсии:
:<tex>\beta \sim N(0, \sigma^2)</tex>
Логарифмируя, получаем ''квадратичный регуляризатор'':
:<tex>\ln p(\beta; \sigma) = \ln (\frac{1}{(2 \pi \sigma)^{n/2}} \exp(- \frac{\| \beta \| ^ 2}{2 \sigma})) = - \frac{1}{2 \sigma}\| \beta \| ^ 2 + const(\beta),</tex>
где <tex>const(\beta)</tex> - слагаемое, не зависящее от <tex>\beta</tex>, которым можно пренебречь, поскольку оно не влияет на решение оптимизационной задачи. В итоге имеем <tex>L_{2}</tex> - регуляризатор.
===Лапласовский регуляризатор===
Пусть вектор <tex>\beta</tex> имеет ''распределение Лапласа'', все его компоненты независимы и имеют равные дисперсии:
193
правки

Навигация