Изменения

Перейти к: навигация, поиск

Регуляризация

394 байта добавлено, 22 январь
Лапласовский регуляризатор
Тогда:
:<tex>\ln p(\beta; C) = \ln (\dfrac{1}{(2C)^n} \exp(- \dfrac{\| \beta \|_{1}}{C})) = - \dfrac{1}{C}\| \beta \|_{1} + const(\beta), \| \beta \|_{1} = \sum\limits_{j}|\beta_{j}|</tex>
Распределение Лапласа имеет более острый пик Аналогично случаю с нормальным регуляризатором, <tex>const(\beta)</tex> можно опустить и более тяжёлые «хвосты», по сравнению с нормальным распределением. Его дисперсия равна таким образом, получаем <tex>2C^2L_{1}</tex>-регуляризатор.
Аналогично случаю Распределение Лапласа имеет более острый пик и более тяжёлые «хвосты», по сравнению с нормальным регуляризаторомраспределением, как можно видеть на Рис. 3. Дисперсия Лапласовского распределения равна <tex>const(\beta)2C^2</tex> можно опустить и, таким образом, получаем <tex>L_.  {1}</tex> |align="center" |-регуляризаторvalign="top" |[[Файл:laplace_and_normal.png|400px|thumb|Рис. 3. Сравнение нормального и Лапласовского распределений при одинаковых математических ожиданиях и дисперсиях.]] |}
==Регуляризация в линейной регрессии==
193
правки

Навигация