20
правок
Изменения
Ядро
,Нет описания правки
а) с сохранением вычислительной эффективности линейных методов.
б) с сохранением преимуществ линейных методов(локальный оптимум является глобальным, нет локальных оптимумов=>меньше переобучение).
* Объекты для которых не существует векторныхпредставлений векторных представлений фиксированной длины.
* Ускоренное вычисление скалярных произведений для высоких значений размерностей.
* Случай, когда сложно представить объекты векторами фиксированной длины.
Такие , как строки, множества, картинки, тексты, графы,3D-структуры и т.д.
* Существование естественного определения скалярного произведения.
Такие , как строки(число совместно встречающихся подстрок) или множества(напр. для множеств $S_1$ и $S_2$ ядром будет являться $K(S_1, S_2) = 2^{|S_1\cap S_2|}$).
* Скалярное произведение может быть подсчитано эффективно.
Таким образом мы видим, что класс ядер достаточно широк.
Проверка неотрицательной определённости функции в реальных задачах может быть сложной. Чаще всего ограничиваются перебором конечного числа функций, про которые известно, что они являются ядрами. Среди них выбирается лучшая (обычно по критерию скользящего контроля). Такое решение не будет оптимальным, и на сегодняшний день проблема выбора ядра, оптимального для данной конкретной задачи, остаётся открытой, лучшие из известных на данный момент решений основываются на генетических алгоритмах<ref>[https://www.researchgate.net/publication/221080223_An_Evolutionary_Approach_to_Automatic_Kernel_Construction - T.Howley, M.G.Madden — An Evolutionary Approach to Automatic Kernel Construction]</ref>.
== Конструктивные способы построения ядер ==
Используется в алгоритме [[Метод опорных векторов (SVM) | SVM ]] по умолчанию.
1. '''Полиномиальное''' (англ. polynomial) $K(x, x') = (\langle x, x' \rangle + R)^d$<ref>https://en.wikipedia.org/wiki/Polynomial_kernel - Polynomial kernel</ref>
Используется когда необходимо получить полином $p(y)$, где в качестве $y$ выступает скалярное произведение $\langle x, x' \rangle$. Поскольку в конструктивных возможностях у нас есть умножение ядер, умножение на коэффициент и сложение, то любой многочлен так же является ядром.
2. '''Гаусово''' (англ. gaussian) ядро RBF (Radial basis function)<ref>[https://en.wikipedia.org/wiki/Radial_basis_function_kernel - RBF]</ref> $K(x, x') = exp(-\frac{\parallel x - x'\parallel^2}{2\sigma^2})$
Такое ядро соответсвует бесконечномерному пространству. Поскольку оно является пределом последовательности полиномиальных ядер при стремлении степени ядра к бесконечности.
3. '''Сигмоидальное''' (англ. sigmoid) ядро $tangh (\gamma \langle x, x'\rangle + r)$
В отличии от предыдущих 3-х не является ядром Мерсера(не выполняет условие теоремы), но при этом на практике работает хорошо.
4. '''Строковое'''
== См. также ==
* [[Метод опорных векторов (SVM)]]
* [[Линейная регрессия]]
* [[Логистическая регрессия]]
* [[Регуляризация]]
== Примечания ==
[[Категория: Машинное обучение]]
[[Категория: Классификация]]
[[Категория: Регрессия]]
