20
правок
Изменения
Ядро
,Новая страница: «'''Ядро(Kernel) в машинном обучении''' - функция x->\fi(x), которая позволяет совершить преобразов…»
'''Ядро(Kernel) в машинном обучении''' - функция x->\fi(x), которая позволяет совершить преобразование признаков и получить линейно разделимое пространство.
== Определение ==
Функция K(x,x′):X×X->R называется ядром, если она может быть представлена в виде K(x,x')=<\fi(x),\fi(x')>_H для какой либо функции \fi(x):X->H.
== Теорема Мерсера ==
Функция K(x,y) является ядром тогда и только тогда, когда:
Она симметрична: K(x,y)=K(y,x)
Она неотрицательно определена, то есть для любой конечной выборки матрица K=(K(x_i,x_j))^l_{i,j=1} неотрицательно определена
== Конструктивные способы построения ядер ==
1.Произвольное скалярное произведениеK(x,x') =<x,x'>является ядром.
2. КонстантаK(x,x') = 1 является ядром.
3. Произведение ядер <tex>K(x,x') =K_1(x,x')K_2(x,x')<tex>является ядром.
4. Для любой функции <tex>\psi :X->R<tex> произведение <tex>K(x,x′) =\psi(x)\psi(x′)<tex>{{---}} ядро.
5. Линейная комбинация ядер с неотрицательными коэффициентамиK(x,x′) ==\alpha_1K_1(x,x') +\alpha_2K_2(x,x')является ядром.
6. Композиция произвольной функции \fi:X->X и произвольного ядраK0является ядром: K(x,x') =K_0(\fi(x),\fi(x')).
7. Еслиs:X×X→R произвольная симметричная интегрируемая функция, тоK(x,x′) =∫Xs(x,z)s(x′,z)dzявляется ядром.//TODO
8. Функция вида K(x,x') = k(x−x)является ядром тогда и только тогда, когдаФурье-образ F[k](\omega) = (2\Pi)n_2∫Xe−i〈\owmega,x〉k(x)dx неотрицателен.
9. Предел локально-равномерно сходящейся последовательности ядер {{---}} ядро.
10. Композиция произвольного ядраK0и произвольной функции ''f'':R->R, представимой в виде сходящегося степенного ряда с неотрицательными коэффици-ентамиK(x,x') =f(K_0(x,x')), является ядром. В частности, функцииf(z) =e^z и f(z) =1/{1−z} от ядра являются ядрами
== Ядерный трюк ==
Поскольку для обучения зачастую необходима уже функция "расстояния" между элементами в новом пространстве, то вместо явного нахождения ядра {{---}} его можно зашить внутрь соответсвующей функции k(x, x'). Такую функцию k называют '''ядерной функцией'''
== Некоторые часто используемые функции ==
0.Линейное K(x, x')=<x, x'>
1.Полиномиальное ядро K(x, x') = (<x, x'> + R)^d
2.Гаусово ядро RBF K(x, x') = exp(-\gamma ||x - x'||^2)
== Определение ==
Функция K(x,x′):X×X->R называется ядром, если она может быть представлена в виде K(x,x')=<\fi(x),\fi(x')>_H для какой либо функции \fi(x):X->H.
== Теорема Мерсера ==
Функция K(x,y) является ядром тогда и только тогда, когда:
Она симметрична: K(x,y)=K(y,x)
Она неотрицательно определена, то есть для любой конечной выборки матрица K=(K(x_i,x_j))^l_{i,j=1} неотрицательно определена
== Конструктивные способы построения ядер ==
1.Произвольное скалярное произведениеK(x,x') =<x,x'>является ядром.
2. КонстантаK(x,x') = 1 является ядром.
3. Произведение ядер <tex>K(x,x') =K_1(x,x')K_2(x,x')<tex>является ядром.
4. Для любой функции <tex>\psi :X->R<tex> произведение <tex>K(x,x′) =\psi(x)\psi(x′)<tex>{{---}} ядро.
5. Линейная комбинация ядер с неотрицательными коэффициентамиK(x,x′) ==\alpha_1K_1(x,x') +\alpha_2K_2(x,x')является ядром.
6. Композиция произвольной функции \fi:X->X и произвольного ядраK0является ядром: K(x,x') =K_0(\fi(x),\fi(x')).
7. Еслиs:X×X→R произвольная симметричная интегрируемая функция, тоK(x,x′) =∫Xs(x,z)s(x′,z)dzявляется ядром.//TODO
8. Функция вида K(x,x') = k(x−x)является ядром тогда и только тогда, когдаФурье-образ F[k](\omega) = (2\Pi)n_2∫Xe−i〈\owmega,x〉k(x)dx неотрицателен.
9. Предел локально-равномерно сходящейся последовательности ядер {{---}} ядро.
10. Композиция произвольного ядраK0и произвольной функции ''f'':R->R, представимой в виде сходящегося степенного ряда с неотрицательными коэффици-ентамиK(x,x') =f(K_0(x,x')), является ядром. В частности, функцииf(z) =e^z и f(z) =1/{1−z} от ядра являются ядрами
== Ядерный трюк ==
Поскольку для обучения зачастую необходима уже функция "расстояния" между элементами в новом пространстве, то вместо явного нахождения ядра {{---}} его можно зашить внутрь соответсвующей функции k(x, x'). Такую функцию k называют '''ядерной функцией'''
== Некоторые часто используемые функции ==
0.Линейное K(x, x')=<x, x'>
1.Полиномиальное ядро K(x, x') = (<x, x'> + R)^d
2.Гаусово ядро RBF K(x, x') = exp(-\gamma ||x - x'||^2)
