Редактирование: Регуляризация

Перейти к: навигация, поиск

Внимание! Вы не авторизовались на сайте. Ваш IP-адрес будет публично видимым, если вы будете вносить любые правки. Если вы войдёте или создадите учётную запись, правки вместо этого будут связаны с вашим именем пользователя, а также у вас появятся другие преимущества.

Правка может быть отменена. Пожалуйста, просмотрите сравнение версий, чтобы убедиться, что это именно те изменения, которые вас интересуют, и нажмите «Записать страницу», чтобы изменения вступили в силу.
Текущая версия Ваш текст
Строка 1: Строка 1:
 
{{Определение
 
{{Определение
 
|definition=
 
|definition=
'''Регуляризация''' (англ. ''regularization'') в статистике, машинном обучении, теории обратных задач — метод добавления некоторых дополнительных ограничений к условию с целью решить некорректно поставленную задачу или предотвратить переобучение. Чаще всего эта информация имеет вид штрафа за сложность модели.
+
'''Регуляризация''' (англ. ''regularization'') в статистике, машинном обучении, теории обратных задач — метод добавления некоторых дополнительных ограничений к условию с целью решить неккоректно поставленную задачу или предотвратить переобучение. Чаще всего эта информация имеет вид штрафа за сложность модели.
 
}}
 
}}
  
Строка 103: Строка 103:
 
:<tex>\beta \sim N(0, \sigma^2)</tex>
 
:<tex>\beta \sim N(0, \sigma^2)</tex>
 
Логарифмируя, получаем ''квадратичный регуляризатор'':
 
Логарифмируя, получаем ''квадратичный регуляризатор'':
:<tex>\ln p(\beta; \sigma) = \ln \left(\dfrac{1}{(2 \pi \sigma)^{n/2}} \exp \left(- \dfrac{\| \beta \| ^ 2}{2 \sigma} \right) \right) = - \dfrac{1}{2 \sigma}\| \beta \| ^ 2 + const(\beta),</tex>
+
:<tex>\ln p(\beta; \sigma) = \ln (\dfrac{1}{(2 \pi \sigma)^{n/2}} \exp(- \dfrac{\| \beta \| ^ 2}{2 \sigma})) = - \dfrac{1}{2 \sigma}\| \beta \| ^ 2 + const(\beta),</tex>
 
где <tex>const(\beta)</tex> {{---}} слагаемое, не зависящее от <tex>\beta</tex>, которым можно пренебречь, поскольку оно не влияет на решение оптимизационной задачи. В итоге имеем <tex>L_{2}</tex>-регуляризатор.
 
где <tex>const(\beta)</tex> {{---}} слагаемое, не зависящее от <tex>\beta</tex>, которым можно пренебречь, поскольку оно не влияет на решение оптимизационной задачи. В итоге имеем <tex>L_{2}</tex>-регуляризатор.
  
Строка 110: Строка 110:
 
:<tex>\beta \sim Laplace(0, C)</tex>
 
:<tex>\beta \sim Laplace(0, C)</tex>
 
Тогда:
 
Тогда:
:<tex>\ln p(\beta; C) = \ln \left(\dfrac{1}{(2C)^n} \exp \left(- \dfrac{\| \beta \|_{1}}{C} \right) \right) = - \dfrac{1}{C}\| \beta \|_{1} + const(\beta), \| \beta \|_{1} = \sum\limits_{j}|\beta_{j}|</tex>
+
:<tex>\ln p(\beta; C) = \ln (\dfrac{1}{(2C)^n} \exp(- \dfrac{\| \beta \|_{1}}{C})) = - \dfrac{1}{C}\| \beta \|_{1} + const(\beta), \| \beta \|_{1} = \sum\limits_{j}|\beta_{j}|</tex>
 
Аналогично случаю с нормальным регуляризатором, <tex>const(\beta)</tex> можно опустить и, таким образом, получаем <tex>L_{1}</tex> -регуляризатор.
 
Аналогично случаю с нормальным регуляризатором, <tex>const(\beta)</tex> можно опустить и, таким образом, получаем <tex>L_{1}</tex> -регуляризатор.
  
Строка 121: Строка 121:
  
 
==Регуляризация в линейной регрессии==
 
==Регуляризация в линейной регрессии==
В [[Линейная регрессия | линейной регрессии]] моделируется линейная зависимость между зависимой и независимой переменной. Каждому объекту $x \in X^l$ соответствует признаковое описание $(f_{1}(x),\dots,f_{n}(x))$, где $f_{j}:X \rightarrow \mathbb{R}$ {{---}} числовые признаки. Модель алгоритмов для линейной регрессии состоит из функций вида:
+
В [[Линейная регрессия | линейной регрессии]] моделируется линейная зависимость между зависимой и независимой переменной. Таким образом, модель алгоритмов для нее состоит из функций вида:
:$g(x, \beta) = \sum\limits_{j}^n \beta_{j} \,f_{j}(x)$
+
:$g(x, \beta) = \sum\limits_{j}^n \beta_{j} f_{j}(x)$
 
В итоге оптимизируемый функционал эмпирического риска выглядит следующим образом:
 
В итоге оптимизируемый функционал эмпирического риска выглядит следующим образом:
 
:$Q(a) = \|F\beta - y\|^2$,
 
:$Q(a) = \|F\beta - y\|^2$,
где $F = (f_{j}(x_{i}))_{l \times n}$ {{---}} матрица объекты-признаки, $y = (y_{i})_{l \times 1}$ {{---}} целевой вектор, $\beta = (\beta_{j})_{n \times 1}$ {{---}} вектор параметров.
+
где $F = (f_(x_{i}))_{l \times n}$ {{---}} матрица объекты-признаки, $y = (y_{i})_{l \times 1}$ {{---}} целевой вектор, $\beta = (\beta_{j})_{n \times 1}$ {{---}} вектор параметров.
 
Приравняв нулю производную $Q(\beta)$ по параметру $\beta$, получаем:
 
Приравняв нулю производную $Q(\beta)$ по параметру $\beta$, получаем:
 
:$\beta^* = (F^TF)^{-1}F^Ty$
 
:$\beta^* = (F^TF)^{-1}F^Ty$
Строка 148: Строка 148:
 
:$\beta_{t}^* = (UD^2U^T + \tau I_{n})^{-1}UDV^{T}y=U(D^2+\tau I_{n})^{-1}DV^Ty=\sum\limits_{j=1}^n \dfrac{\sqrt{\lambda_{j}}}{\lambda_{j} + \tau}u_{j}(v_{j}^Ty)$
 
:$\beta_{t}^* = (UD^2U^T + \tau I_{n})^{-1}UDV^{T}y=U(D^2+\tau I_{n})^{-1}DV^Ty=\sum\limits_{j=1}^n \dfrac{\sqrt{\lambda_{j}}}{\lambda_{j} + \tau}u_{j}(v_{j}^Ty)$
 
Теперь найдём регуляризованную МНК-аппроксимацию целевого вектора y:
 
Теперь найдём регуляризованную МНК-аппроксимацию целевого вектора y:
:$F \beta_{\tau}^* = VDU^T \beta_{\tau}^* = V diag \left(\dfrac{\lambda_{j}}{\lambda_{j} + \tau} \right)V^Ty = \sum\limits_{j=1}^n \dfrac{\lambda_{j}}{\lambda_{j} + \tau}v_{j}(v_{j}^Ty)$
+
:$F \beta_{\tau}^* = VDU^T \beta_{\tau}^* = V diag(\dfrac{\lambda_{j}}{\lambda_{j} + \tau})V^Ty = \sum\limits_{j=1}^n \dfrac{\lambda_{j}}{\lambda_{j} + \tau}v_{j}(v_{j}^Ty)$
 
Как можно видеть, проекции на собственные векторы сокращаются, умножаясь $\dfrac{\lambda_{j}}{\lambda_{j} + \tau} \in (0, 1)$.
 
Как можно видеть, проекции на собственные векторы сокращаются, умножаясь $\dfrac{\lambda_{j}}{\lambda_{j} + \tau} \in (0, 1)$.
  
Строка 162: Строка 162:
  
 
В случае с гребнем:
 
В случае с гребнем:
:$n_{effective} = tr\:F(F^TF + \tau I_{n})^{-1}F^T = tr\:diag \left(\dfrac{\lambda_{j}}{\lambda_{j} + \tau}\right) = \sum\limits_{j=1}^n \dfrac{1}{\lambda_{j}} < n$
+
:$n_{effective} = tr\:F(F^TF + \tau I_{n})^{-1}F^T = tr\:diag(\dfrac{\lambda_{j}}{\lambda_{j} + \tau}) = \sum\limits_{j=1}^n \dfrac{1}{\lambda_{j}} < n$
  
 
===Лассо регрессия===
 
===Лассо регрессия===
Строка 187: Строка 187:
  
 
Также полезно будет рассмотреть простую модельную задачу. Пусть $l = n$ и матрица объекты-признаки является единичной $F = I$. Тогда МНК-решение дает вектор коэффициентов $\beta$:
 
Также полезно будет рассмотреть простую модельную задачу. Пусть $l = n$ и матрица объекты-признаки является единичной $F = I$. Тогда МНК-решение дает вектор коэффициентов $\beta$:
:$\beta^* = argmin \left(\sum\limits_{i=1}^l(\beta_{i} - y_{i})^2\right)$
+
:$\beta^* = argmin(\sum\limits_{i=1}^l(\beta_{i} - y_{i})^2)$
 
:$\beta_{j}^* = y_{j}$
 
:$\beta_{j}^* = y_{j}$
 
В случае с гребневой регрессией:
 
В случае с гребневой регрессией:
Строка 241: Строка 241:
 
Также существуют разновидности SVM с другими регуляризаторами.
 
Также существуют разновидности SVM с другими регуляризаторами.
 
* Метод релевантных векторов (англ. ''RVM, Relevance vector Machine''):
 
* Метод релевантных векторов (англ. ''RVM, Relevance vector Machine''):
:$\dfrac{1}{2}\sum\limits_{i=1}^l\left(\ln w_{i} + \dfrac{\lambda_{i}^2}{w_{i}}\right)$
+
:$\dfrac{1}{2}\sum\limits_{i=1}^l(\ln w_{i} + \dfrac{\lambda_{i}^2}{w_{i}})$
 
* Метод опорных векторов с лассо (англ. ''LASSO SVM''):  
 
* Метод опорных векторов с лассо (англ. ''LASSO SVM''):  
 
:$\mu \sum\limits_{i=1}^n|w_{i}|$
 
:$\mu \sum\limits_{i=1}^n|w_{i}|$

Пожалуйста, учтите, что любой ваш вклад в проект «Викиконспекты» может быть отредактирован или удалён другими участниками. Если вы не хотите, чтобы кто-либо изменял ваши тексты, не помещайте их сюда.
Вы также подтверждаете, что являетесь автором вносимых дополнений, или скопировали их из источника, допускающего свободное распространение и изменение своего содержимого (см. Викиконспекты:Авторские права). НЕ РАЗМЕЩАЙТЕ БЕЗ РАЗРЕШЕНИЯ ОХРАНЯЕМЫЕ АВТОРСКИМ ПРАВОМ МАТЕРИАЛЫ!

Чтобы изменить эту страницу, пожалуйста, ответьте на приведённый ниже вопрос (подробнее):

Отменить | Справка по редактированию (в новом окне)

Шаблоны, используемые на этой странице: