193
правки
Изменения
→Метод опорных векторов
===Метод опорных векторов===
[[Метод опорных векторов]] используется для задачи бинарной классификации. В нем строится гиперплоскость, разделяющая множества разных классов.
К сожалению, зачастую является линейно неразделимой. В таком случае приходится "ослаблять ограничения", позволяя некоторым объектам попадать на территорию другого класса. Для каждого объекта от отступа отнимается некоторая положительная величина $\xi_i$, но требуется, чтобы введенные поправки были минимальны. В итоге постановка задачи ''SVM с мягким отступом'' (англ. ''soft-margin SVM'') выглядит следующим образом:
$\begin{cases}
\frac{1}{2} \lVert \vec{w} \rVert^2 + C \sum\limits_{i=1}^\ell \xi_i \to \min\limits_{w, b, \xi} \\
M_i(\vec{w}, b) \geq 1 - \xi_i, \quad i = 1, \ldots, \ell \\
\xi_i \geq 0, \quad i = 1, \ldots, \ell \\
\end{cases}$
Как показано в соответствующем данному алгоритму разделе, эквивалентной задачей безусловной минимизации является:
$\frac{1}{2} \lVert \vec{w} \rVert^2 + C \sum\limits_{i=1}^\ell \left(1 - M_i(\vec{w}, b)\right)_+ \to \min\limits_{w, b}$
==Другие использования регуляризации==
