Ядро

Ядро(Kernel) в машинном обучении - функция x->\fi(x), которая позволяет совершить преобразование признаков и получить линейно разделимое пространство.

Определение

Функция K(x,x′):X×X->R называется ядром, если она может быть представлена в виде K(x,x')=<\fi(x),\fi(x')>_H для какой либо функции \fi(x):X->H.

Теорема Мерсера

Функция K(x,y) является ядром тогда и только тогда, когда:

   Она симметрична: K(x,y)=K(y,x)

   Она неотрицательно определена, то есть для любой конечной выборки матрица K=(K(x_i,x_j))^l_{i,j=1} неотрицательно определена 

Конструктивные способы построения ядер

1.Произвольное скалярное произведениеK(x,x') =<x,x'>является ядром.

2. КонстантаK(x,x') = 1 является ядром.

3. Произведение ядер <tex>K(x,x') =K_1(x,x')K_2(x,x')<tex>является ядром.

4. Для любой функции <tex>\psi :X->R<tex> произведение <tex>K(x,x′) =\psi(x)\psi(x′)<tex>— ядро.

5. Линейная комбинация ядер с неотрицательными коэффициентамиK(x,x′) ==\alpha_1K_1(x,x') +\alpha_2K_2(x,x')является ядром.

6. Композиция произвольной функции \fi:X->X и произвольного ядраK0является ядром: K(x,x') =K_0(\fi(x),\fi(x')).

7. Еслиs:X×X→R произвольная симметричная интегрируемая функция, тоK(x,x′) =∫Xs(x,z)s(x′,z)dzявляется ядром.//TODO

8. Функция вида K(x,x') = k(x−x)является ядром тогда и только тогда, когдаФурье-образ F[k](\omega) = (2\Pi)n_2∫Xe−i〈\owmega,x〉k(x)dx неотрицателен.

9. Предел локально-равномерно сходящейся последовательности ядер — ядро.

10. Композиция произвольного ядраK0и произвольной функции f:R->R, представимой в виде сходящегося степенного ряда с неотрицательными коэффици-ентамиK(x,x') =f(K_0(x,x')), является ядром. В частности, функцииf(z) =e^z и f(z) =1/{1−z} от ядра являются ядрами

Ядерный трюк

Поскольку для обучения зачастую необходима уже функция "расстояния" между элементами в новом пространстве, то вместо явного нахождения ядра — его можно зашить внутрь соответсвующей функции k(x, x'). Такую функцию k называют ядерной функцией

Некоторые часто используемые функции

0.Линейное K(x, x')=<x, x'>

1.Полиномиальное ядро K(x, x') = (<x, x'> + R)^d

2.Гаусово ядро RBF K(x, x') = exp(-\gamma ||x - x'||^2)