核方法

有限维度的数据必然存在一个拉伸函数将数据映射到高维并且满足线性分布。也就是说必然存在一个完美的拉伸函数。

现在我告诉你，我们有一种取巧的办法。使得我们根本不用计算拉伸函数，有时候甚至你都不需要知道拉伸函数是什么，我们依然能够做预测。这个无比巧妙的简便方法，帮助我们跳过了拉伸的步骤，这个方法就叫做核方法。

核函数和映射没有关系.
核函数只是用来计算映射到高维空间之后的内积的一种简便方法。

\(\text{Kernel Function}\) & \(\text{Kernel Trick}\)

设 \(\mathcal{H}\) 为特征空间 (希尔伯特空间), 如果存在一个从 \(\mathcal{X}\) 到 \(\mathcal{H}\) 的映射

\[\phi(x): \mathcal{X} \rightarrow \mathcal{H} \]

使得对所有 \(x, z \in \mathcal{X}\) , 函数 \(K(x, z)\) 满足条件

\[K(x, z)=\phi(x) \cdot \phi(z) \]

则称 \(K(x, z)\)为核函数
\(\phi(x)\) 为映射函数,
式中 \(\phi(x) \cdot \phi(z)\) 为 \(\phi(x)\) 和 \(\phi(z)\) 的内积.

核函数与正定矩阵

定义 2.1. 1 称二元函数 \(k: X \times X \rightarrow \mathbb{R}\) 是核函数, 如果存在某个内积空间 (或 Hilbert 空间) \((H,\langle\bullet, \cdot\rangle\), 以及映射 \(\Phi\) : \(X \rightarrow H\), 使得

\[k\left(x, x^{\prime}\right)=\left\langle\Phi(x), \Phi\left(x^{\prime}\right)\right\rangle \]

称 \(H\) 为特征空间, \(\Phi\) 让特征映射。
定义 2.1.2 称 \(k: X \times X \rightarrow \mathbb{R}\) 是正定的,如果它是对称 的, 即 \(k\left(x, x^{\prime}\right)=k\left(x^{\prime}, x\right)\), 并且对任意 \(m \in \mathbb{N}\) (正整数集合), 任意 \(x_{1}, x_{2}, \cdots, x_{m} \in X, \alpha_{1}, \alpha_{2}, \cdots, \alpha_{m} \in \mathbb{R}\), 都有

\[\sum_{i, j=1}^{m} \alpha_{i} \alpha_{j} k\left(x_{i}, x_{j}\right) \geqslant 00 \]

即对任意训练数据 \(x_{1}, x_{2}, \cdots, x_{m} \in X, K=\left(k\left(x_{i}, x_{j}\right)\right)\) 是正定 矩阵。
定理 2.1.1 \(k: X \times X \rightarrow \mathbb{R}\) 是核函数当且仅当它是正定 的。
证明: 设 \(k\) 是核函数,则存在内积空间 \((H,\langle\bullet, \bullet\rangle)\), 以 及映射 \(\Phi: X \rightarrow H\), 使得 \(k\left(x, x^{\prime}\right)=\left\langle\Phi(x), \Phi\left(x^{\prime}\right)\right\rangle\) 。对任意 \(m\) \(\in \mathbb{N}\),任意 \(x_{1}, x_{2}, \cdots, x_{m} \in X, \alpha_{1}, \alpha_{2}, \cdots, \alpha_{m} \in \mathbb{R}\), 有

\[\begin{aligned} \sum_{i, j=1}^{m} \alpha_{i} \alpha_{j} k\left(x_{i}, x_{j}\right)=\sum_{i, j=1}^{m} \alpha_{i} \alpha_{j}\left\langle\Phi\left(x_{i}\right), \Phi\left(x_{j}\right)\right\rangle \\ =\left\langle\sum_{i=1}^{m} \alpha_{i} \Phi\left(x_{i}\right), \sum_{i=1}^{m} \alpha_{i} \Phi\left(x_{i}\right)\right\rangle \geqslant 0 \end{aligned} \]

又内积显然是对称的,从而 \(k\) 正定。
反之,设 \(k\) 正定。对任一 \(x \in X\), 对应 (通过 \(k\) ) \(X\) 上一个 实函数

\[\Phi_{x}(\bullet)=k(x, \bullet) \]

所有这样定义的实函数的线性组合构成一个线性空间, 记作 \(H_{0}\) 。对 \(H_{0}\) 中任意两点,

\[f(\bullet)=\sum_{i=1}^{m} \alpha_{i} k\left(x_{i}, \bullet\right), g(\bullet)=\sum_{j=1}^{m^{\prime}} \beta_{j} k\left(x^{\prime}{ }_{j}, \cdot\right) \]

其中 \(m, m^{\prime} \in \mathbb{N}, \alpha_{i}, \beta_{j} \in \mathbb{R}, x_{i}, x^{\prime}, \in X\), 定义

\[\langle f, g\rangle:=\sum_{i=1}^{m} \sum_{j=1}^{m^{\prime}} \alpha_{i} \beta_{j} k\left(x_{i}, x_{j}^{\prime}\right) \]

可验证,这个定义不依赖于 \(f, g\) 的表示方式, 并且 \(\langle\bullet, \cdots\rangle\) 满 足对称性、双线性性。因为 \(k\) 正定, 可得 \(\langle f, f\rangle \geqslant 0\), 并且 \(\langle f\), \(f\rangle=0 \Leftrightarrow f=0\) 。因此, \(\langle\bullet, \bullet\rangle\) 是 \(H_{0}\) 上的一个内积。 \(H_{0}\) 的完 备化称为再生核 Hilbert 空间 (Reproducing Kernel Hilbert

\[k\left(x, x^{\prime}\right)=\left\langle k(x, \bullet), k\left(x^{\prime}, \bullet\right\rangle\right. \]

定义特征映射

\[\Phi: X \rightarrow H, \Phi(x)=k(x, \cdot) \]

则 \(k\left(x, x^{\prime}\right)=\left\langle\Phi(x), \Phi\left(x^{\prime}\right)\right\rangle\) 。证毕。