平稳核函数（stationary kernel）

平稳核函数是一类在空间统计和机器学习（尤其是高斯过程）中非常常用的核函数。它的核心假设是：两个点的相似性，只取决于它们的相对距离，而与它们所处的绝对位置无关。

这被称为平移不变性。

---

1. 数学定义

一个核函数 \(k(x, x')\) 是平稳的，当且仅当它可以写成：

\[k(x, x') = k(x - x') \]

更常见的写法是只依赖于距离 \(r = \|x - x'\|\)：

\[k(x, x') = k(r) \]

这意味着，无论你在地图的北京还是纽约，只要两个点之间的相对位移向量一样，它们的相关性就完全相同。

---

2. 为什么叫“平稳”？

这个概念借用了时间序列分析中的“弱平稳过程”，但用在空间/函数领域：

• 函数性质在空间各处一致：如果用一个平稳核生成高斯过程，那么该过程的统计特性（如平滑度、变异性）在所有输入位置都是一样的。
• 没有“特殊区域”：它假定空间是同质的，没有某个区域的变化天然比其他地方更剧烈。
• 机器学习视角：它等价于对函数赋予了一个平移不变的先验——你事先并不知道函数的峰值会在哪里出现。

---

3. 典型例子

核函数	公式 \(k(x, x')\) （ \(\tau = |x - x'|\) ）	场的特点
平方指数 / RBF	\(\exp\left(-\frac{\tau^2}{2\ell^2}\right)\)	极其平滑，无穷阶可微
Matérn 族	\(\frac{2^{1-\nu}}{\Gamma(\nu)}\left(\sqrt{2\nu}\frac{\tau}{\ell}\right)^\nu K_\nu\left(\sqrt{2\nu}\frac{\tau}{\ell}\right)\)	平滑度可调，\(\nu=0.5\) 为指数核（粗糙），\(\nu \to \infty\) 趋近于 RBF
指数核	\(\exp\left(-\frac{\tau}{\ell}\right)\)	Ornstein-Uhlenbeck 过程，连续但不可微
γ-指数核	\(\exp\left(-\left(\frac{\tau}{\ell}\right)^\gamma\right)\)，\(0 < \gamma \leq 2\)	控制平滑度，\(\gamma=2\) 即 RBF

所有这些都只依赖 \(\tau\)，所以都是平稳的。

---

4. 对偶视角：频率域

根据 Bochner 定理，任何平稳核都是某个正有限测度的傅里叶变换：

\[k(\tau) = \int e^{i \tau^\top \omega} d\mu(\omega) \]

这意味着：

• 平稳核有一个功率谱密度。
• 核的平滑度由频谱在高频的衰减速度决定：RBF 的频谱全频率非零且快速衰减（无穷平滑）；Matérn 的频谱有代数衰减尾巴（有限平滑）。
• 这种视角把核设计问题，转化为对函数频率成分的假设。

---

5. 平稳 vs. 非平稳核

特性	平稳核	非平稳核
定义	\(k(x, x') = k(x - x')\)	不能写成这种形式
输入空间	假定统计性质各处相同	允许特性随位置变化
典型例子	RBF、Matérn	神经网络核、线性核、带输入依赖长度的核
应用场景	平稳环境建模、标准回归/分类	空间非平稳数据、函数在不同区域平滑度不同的情况

一个非平稳的例子：假设要建模地形高度，山区变化剧烈，平原变化平缓。平稳核用全局统一的“长度尺度”参数，无法同时很好地刻画这两种区域。这时就需要非平稳核（如让长度尺度本身也是位置的函数 \(\ell(x)\)）。

---

6. 总结

在机器学习中，如果你没有特别的先验知识认为输入空间有结构差异，平稳核通常是默认的合理选择。RBF 和 Matérn 几乎是高斯过程回归的“标准配置”，它们都是平稳核。

需要我展开讲 Matérn 核如何通过 \(\nu\) 参数精细控制函数的平滑度吗？这在物理建模中经常用到。