非线性核允许支持向量机在高维空间中线性分离非线性数据。 RBF 核可能是最流行的非线性核。
有人告诉我 RBF 核是高斯核,因此是无限微分的。利用这个特性,RBF核可以将数据从低维空间映射到无限维空间。我有两个问题:
1)谁能解释一下为什么映射后的特征空间的数量对应于内核的导数?我对这部分不清楚。 2)非线性核有很多,比如多项式核,我相信它们也能够将数据从低维空间映射到无限维空间。但为什么 RBF 内核比它们更流行呢?
感谢您提前提供的帮助。
最佳答案
1) Could anyone explain why the number of feature space after mapping is corresponding to the derivatives of the kernel? I am not clear on this part.
它与可微分无关,线性内核也是无限可微的,并且不会映射到任何更高维度的空间,无论谁告诉你这是原因 - 撒谎或不理解其背后的数学。无限维度来自映射
phi(x) = Nor(x, sigma^2)
换句话说,您将点映射到作为高斯分布的函数,它是 L^2 空间的元素,连续函数的无限维空间,其中标量积被定义为积分函数的乘法,所以
<f,g> = int f(a)g(a) da
因此
<phi(x),phi(y)> = int Nor(x,sigma^2)(a)Nor(y,sigma^2)(a) da
= X exp(-(x-y)^2 / (4sigma^2) )
对于一些归一化常数X
(这完全不重要)。换句话说,高斯核是两个具有无限维数的函数之间的标量积。
2) There are many non-linear kernels, such as polynomial kernel, and I believe they are also able to map the data from a low dimensional space to an infinite dimensional space. But why the RBF kernel is more popular then them?
多项式核映射到特征空间O(d^p)
尺寸,其中d
是输入空间维度,p
是多项式次数,因此远非无限。为什么高斯流行?因为它有效,并且非常易于使用且计算速度快。从理论角度来看,它还可以保证学习任意一组点(使用足够小的方差)。
关于machine-learning - 支持向量机的RBF核,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25082222/