The Mathematical Foundations of Manifold Learning（流形学习的数学基础）翻译

The Mathematical Foundations of Manifold Learning（流形学习的数学基础）

作者： Luke Melas-Kyriazi（哈佛大学数学系，2020 年 5 月）
译者： Yiyang Yuan

作者注

这是我在 2020 年 5 月提交给哈佛大学数学系的本科毕业论文的修改版。与原论文相比，本版有一个主要区别，即省略了若干在其他论述中已随处可见的定理的证明。原版全文收录了这些证明，而本版仅给出这些证明在其他文献中的出处。

本论文建立在学习理论、图论、微分几何和流形学习等领域大量已有研究的基础之上。特别地，我要感谢 Lorenzo Rosasco 教授和 Tomaso Poggio 教授关于统计学习理论的讲座，Daniel Spielman 教授关于谱图理论的讲义，Yaiza Canzani 教授关于流形上分析的讲义，以及 Mikhail Belkin 教授在流形学习方面的工作。

最后，我要感谢那些没有他们我便无法完成这篇论文的人：我的家人、朋友们，以及我出色的导师 Arjun Manrai 教授。与本文所讨论的流形不同，他们的支持是真正无界的。

希望你喜欢这篇论文并从中有所收获！如有任何评论、指正，或其他事宜想要联系我，请随时发送邮件。

——Luke

译者注

流形学习是一个我完全不熟悉的领域，并且我的教育背景完全集中在工学，我来学习和翻译这个方向的论文肯定会引发一些疑惑，因此我有必要阐述一下我的动机。这个翻译工作开始于 2026 年的 7 月份，2022 年底 OpenAI 发布 ChatGPT，这之后的四年里 AI 经历了疯狂的发展。在 Scaling Law 的驱动下，目前领先的 LLM/VLM 已经达到了 1T~10T 的参数量级。另外一个有趣的趋势是，纯在赛博空间运行的 AI 已经无法满足人们的需求，具身 AI 成为了 AI 的下一个发展方向。

然而，当前的 AI 发展中潜藏的重大危机正是来自于 Scaling Law，以指数级的数据量/参数量/计算量为代价去换取线性的性能提升，不仅在技术上缺乏可持续性，从经济上更是如此。此外，对于具身 AI 来说，针对变化的物理世界作出实时响应是一个必须具备的能力。然而，为了能够实时响应，模型在参数量和计算量上需要作出严格的限制，这又与模型的智力增长之间构成了一个本质性的矛盾。

因此，一个自然而然的想法是，我们能否设计更加参数/计算高效的 AI，而这一方向已经被多个成熟的技术：模型量化、模型剪枝、MoE、蒸馏......给验证了，确实技术上是可以做到的。那么剩下的事情就是，能否建立一套真正的科学理论，去解释上述这些工程技术背后的本质规律，并指导我们克服 AI 继续发展的过程中即将碰到的危机。

在广泛的调研之后，我认为流形学习是当前实现这一目标最可靠的路径，这也是我为何挑选了一本看上去和我的专业背景完全无关的书籍开始翻译。对我来说，做这件事最主要的目标是为了种下一颗种子，从基础的数学原理开始学起，为自己在这个方向上的后续研究奠定基础。同时我也希望能够给与我类似的，对相关领域感兴趣的同好，带来一些小小的帮助。

——Yiyang Yuan

第1章引言

1.1 什么是学习？

在我们年幼之时，我们的父母与老师就开始教导我们学习的重要性。我们以学习之名去上学校，做作业，写毕业论文。但学习究竟是什么？

有关学习的理论一直试图解答这一问题，最早可以追溯到 Plato。Plato 在《斐多篇》（Phaedo）中提出的理论将学习理解为对出生时或出生前就已经获得的先天知识的重新发现。在过去的两千年间，认识论学家们一直在争论学习的意义和机制，尤其是 John Locke 提出了一个基于被动获取简单观念的理论。科学地理解学习的方式从 19 世纪开始出现，例如 Ivan Pavlov 经典的经典条件反射实验展示了狗是如何学会将一个刺激（摇铃铛）与另一个（食物）联系在一起。如今，众多学科都设有专门研究学习理论的分支：心理学、神经科学、教育学、语言学，不一而足。

在过去的几十年间，计算机的崛起和扩散使得研究者们开始考虑对于一个计算机算法来说，学习意味着什么。具体来说，过去的二十年间，我们已经见证了机器学习研究的快速发展——机器学习研究的是无需显式编程即可执行任务的算法。如今，这些机器学习算法已被广泛集成到真实世界的系统和应用中。从 Google 搜索到 Netflix 的推荐引擎，再到 Apple 的 Face ID 软件，现代计算机应用的"智能"大多都是机器学习的产物。

本文采用数学的方式来研究机器学习，其目标是构建和分析具有理论根基的学习算法。我们尤其关注半监督学习这一子领域，即机器学习模型同时通过无标签和有标签数据进行训练。为了理解现代半监督学习的方法，我们开发了一套基于谱图理论和黎曼几何的数学方法工具。通过本文，我们会发现，在理解了机器学习算法的内在数学结构之后，我们可以对它们作出更好的解释、提升以及拓展。

1.2 来自人与动物学习的启示

尽管本文完全针对机器学习，然而其理念仍然深刻地根植于我们对人类和动物学习的直觉。即，我们通过设计数学模型，使其符合我们关于"什么应当、什么不应当被视为学习"的直觉。

一个显而易见的例子是，假设有一个学生学习一堆旧考试的资料来应对新考试。如果这个学生真正地理解了这些学习资料，并且能够回答出新的问题，那么他/她就从中学习到了东西。反过来说，如果这个学生仅仅是记住了旧考试的问题和答案，但是却不能回答出任何相关的新问题，那这个学生实际上什么都没有学到。用机器学习的术语来说，我们称后者的学生无法泛化：他在他见过的问题（训练数据）上极少犯错，但是在从未见过的问题（测试数据）上大量犯错。

我们对于学习的正式定义将在第 2 章给出，其定义将基于泛化的概念。给定一定数量的例子进行学习，我们希望能够在新的、未见过的例子上作出好的预测。

我们能够从有限的数据中进行学习，其本质基于我们的数据具备某种内在结构。换而言之，假设我们不假定我们的世界有任何结构，那么我们将无法从过去的经验中学习到任何东西；我们需要一些前置知识，即归纳偏置，来从观察到的数据泛化到未见过的数据。我们将在第 2 章中，通过"没有免费的午餐定理"来形式化这个直观概念。

贯穿本文，我们采用的归纳偏置是：我们所处理的函数应当是简单的。从更高的层面上来说，这个偏置就是一种奥卡姆剃刀：针对现有的数据，相对于复杂的解释，我们会偏向采用更简单的解释。具体来说，我们会采用正则化的方式来实现归纳偏置，即我们强制让我们所学习的函数的范数要小。

本文将逐步引向一类称为流形正则化的正则化方法，其中函数的范数度量的是函数相对于我们的数据所处的流形的光滑性。理解流形正则化需要建立大量的数学工具，但考虑到它能够帮助我们表达"函数应当简单"这一归纳偏置，一切都会是值得的。

1.3 学习的类型

在机器学习中，学习的方式可通过学习者可获得的数据来进行分类，即监督学习、半监督学习以及无监督学习。接下来，我们将对这三类主要的学习方式进行概览，示意图见图 1.3.1。

图 1.3.1　监督学习、半监督学习与无监督学习的示意图。

1.3.1 监督学习

监督学习的主要目标是使用训练集 $S=\{x_i,y_i\}_{i=1}^N$ 来近似一个函数 $f: X \rightarrow Y$。注意输入 $X$ 和输出 $Y$ 的空间都是任意的。例如，$X$ 或者 $Y$ 可以包含向量、字符串、图或者分子。通常，我们将问题考虑为 $Y$ 是 $\mathbb{R}$（回归）或者 $Y$ 是一个类集 $Y=\mathcal{C}=\{0,1,\ldots,n-1\}$（分类）。特殊的，对于 $Y=\{0,1\}$，我们称之为二分类。

监督学习的决定特征是训练集 $S$ 是完全有标签的，即每个点 $x_i$ 有着对应的标签 $y_i$。

以图像分类为例，图像分类是计算机视觉领域非常经典的监督学习的例子。此处，$X$ 是自然图像数据集，而 $Y$ 是 $|\mathcal{C}|$ 个种类的集合。假定图像 $x_i \in X$，任务是分类图像，即将其分配给一个标签 $y_i \in Y$。标准的大规模分类数据集 ImageNet^[1] 有着 $|\mathcal{C}|=1000$ 个种类以及 $|S|\approx 1200000$ 个手动标注的训练图片。

1.3.2 半监督学习

在半监督学习中，学习者同时访问有标签数据集 $S_L=\{x_i,y_i\}_{i=1}^{N_L}$ 以及无标签数据 $S_U=\{x_i\}_{i=1}^{N_U}$。通常来说，无标签数据的规模会远远大于有标签数据：$N_U \gg N_L$。

当丢弃掉无标签数据 $S_U$，仅使用有标签数据 $S_L$ 训练模型时，可以将半监督学习问题转换为监督学习。半监督学习的挑战性在于如何使用无标签数据中的信息来训练一个相比仅用 $S_L$ 训练的更好的模型。本文将重点关注在半监督学习上。

一个半监督学习的例子是语义分割。语义分割的任务是将图像中的每一个像素分类为一系列种类；它可以被认为是像素级的图像分类。语义分割模型在自动驾驶系统中扮演着关键的角色，因为一辆自动驾驶汽车需要弄清楚道路上在它面前的东西到底是什么（汽车、自行车、行人......）。

高分辨率的图像包含了数百万的像素，因此对它们进行语义分割的数据标注是非常耗时和昂贵的。例如，对于一个流行的 5000 图像的数据集，每个图像需要人类约 490 分钟的时间进行标注^[2]。^[3]

在半监督学习语义分割中，我们使用少量的有标签图像和大量的无标签图像来训练机器学习模型。通过这种方式，我们可以利用大量的易收集的无标签数据，而仅需要少量的难以标注的有标签数据。^[4]

1.3.3 无监督学习

在无监督学习中，我们给定没有任何标签的数据 $X=\{x_i\}_{i=1}^N$。在这种情况下，相比于尝试学习一个映射到标签空间的函数 $f$，我们会将目标转变成学习我们的数据特性的有效表征。例如，我们可能会尝试将我们的数据在语义上进行有意义的分类，学习一个我们数据的生成式模型，或者对我们的数据进行降维。

例如单细胞 RNA 数据的降维，生物学家在研究单细胞 RNA 序列时，经常需要将高维度的序列数据可视化。即，他们需要将高维数据嵌入到一个低维度的空间中（例如 2D 平面）同时保留其高维度下的结构。他们还希望不论是降维前后，都能保持数据的聚类。这些任务都可以被认为是无监督学习问题，因为它们的目标是推断无标签数据的结构。

最后，我们需要注意的是，还有一系列其他子领域或者类型的学习算法：强化学习，主动学习，在线学习，多实例学习，等等。^[5]就本文而言，我们只关心上述三类学习。

1.4 流形学习

如我们之前所观察到的，为了能够从数据中学习到东西，我们需要假设数据中存在着内在结构。在一些机器学习方法中，这一假设是隐式的。相对的，流形学习则直接将该假设进行了显式的定义：它假设被观测的数据都处于一个嵌入在高维空间的低维流形上。直觉上，该假设被称为流形假设或者流形假说，其认为我们的数据的几何形状是相对简单的。

例如，考虑自然图像（即真实物体的图像）的空间。由于图像通过像素的方式存储和表征，该像素空间 $\mathbb{R}^{H\times W \times 3}$ 由所有 $3\cdot H \cdot W$ 个实数的有序组构成。然而，我们认为自然图像的维度实际上远远小于像素空间；整体的像素空间某种意义上几乎完全由看起来像"噪音"的图像填满。此外，我们可以看到自然图像的空间是非线性的，因为两个自然图像的像素级平均并不是一个自然图像。流形假设认为自然图像空间的微分几何结构是一个嵌入在高维像素空间中的低维度流形^[6]。

需要强调的是，流形学习并不是监督学习、半监督学习、无监督学习意义上的学习类型。这些类型的学习以学习任务的内容为特征（例如能够获得多少有标签数据），而流形学习则代表了一系列基于流形假设的方法。流形学习方法最常用于半监督和无监督场景，但也可用于监督场景^[7]。

1.5 概述

本论文呈现流形学习背后的数学。行文将三个通常互不关联的数学领域结合在一起：统计学习、谱图理论与微分几何。

本论文在最后一章逐步引向流形正则化的思想。从高层面上说，流形正则化使我们能够学习一个相对于数据流形（而非数据所处的环境空间）而言简单的函数。

为了理解流形学习与流形正则化，我们首先需要理解：(1) 核学习；(2) 流形与图之间的关系。

第 2 章和第 3 章致力于 (1)。第 2 章为监督学习与半监督学习奠定基础。第 3 章发展再生核希尔伯特空间（RKHS）中监督核学习的理论。该理论为大类的正则化技术奠定了数学上严格的基础。

第 4 章致力于 (2)。它通过拉普拉斯算子——一个既可以定义在图上、也可以定义在流形上的线性算子——的视角，探讨图与流形之间的关系。尽管乍看之下这两类对象似乎并不十分相似，但我们将看到，拉普拉斯算子揭示了它们之间非凡的对应关系。到本章结束时，我们将建立起对这些看似迥异的技术的一个统一的数学观点。

最后，第 5 章呈现流形正则化。我们将发现，利用由数据生成的图的拉普拉斯算子，可以很简单地将流形正则化添加到许多学习算法中。在本章末尾，我们将证明这种基于图的方法具有理论根基：在数据趋于无穷的极限下，数据图的拉普拉斯算子收敛到数据流形的拉普拉斯算子。

本论文面向广泛的数学读者。除了扎实的线性代数功底之外，几乎不需要其他背景知识。少数证明需要额外背景，例如对黎曼几何的熟悉。文中尽可能融入了来自数学与机器学习的示例以帮助理解。

第2章基础

理解机器学习算法的第一步是定义我们的学习问题。在本章中，我们只在监督学习框架下工作，大体上遵循 ^[8]、^[9] 与 ^[10] 的方法。第5章将把这里建立的框架推广到半监督学习的情形。

2.0.1 学习算法与损失函数

学习算法 $\mathcal{A}$ 是从有限数据集 $S$ 到候选函数 $\hat{f}$ 的映射，其中 $\hat{f}$ 是可测的。注意，$\mathcal{A}$ 是随机的，因为数据 $S$ 是一个随机变量。我们假设数据 $(x_i, y_i)$ 独立同分布地抽取自带测度 $\rho$ 的概率空间 $X \times Y$。

我们通过引入损失函数（loss function）来定义在某个任务上"做得好"的含义；损失函数是一个可测函数 $L: X \times Y \times \mathcal{F} \to [0, \infty)$。这个损失几乎总是具有 $L(x, y, f) = L'(y, f(x))$ 的形式，其中 $L'$ 是某个函数，因此下文我们一律按这种形式书写损失。直觉上，我们应当把 $L(y, \hat{f}(x))$ 理解为：当 $x$ 的真实标签为 $y$ 时，做出预测 $\hat{f}(x)$ 的代价有多大。如果我们预测 $f(x) = y$，也就是说我们在 $x$ 处的预测是完美的，那么我们期望在 $x$ 处不产生任何损失（即 $L(y, \hat{f}(x)) = 0$）。

选择合适的损失函数是在实践中运用机器学习的重要一环。下面，我们给出具有不同数据空间 $X, Y$ 与不同损失函数 $L$ 的任务的例子。

例：图像分类　图像分类，即把图像 $x$ 归入 $C$ 个可能类别之一的任务，也许是计算机视觉中研究最广泛的问题。这里 $x \in \mathbb{R}^{H \times W \times 3}$，其中 $H$ 和 $W$ 是图像的高和宽，3 对应三个颜色通道（红、绿、蓝）。我们的标签空间是一个有限集 $Y = \mathcal{C}$，其中 $|\mathcal{C}| = C$。分类模型输出各类别上的一个离散分布 $f(x_i) = p = (p_1, \dots, p_C)$，其中 $p_c$ 是输入图像 $x$ 属于类别 $c$ 的概率。

我们使用交叉熵损失作为损失函数：

\[L(y, f(x_i)) = -\frac{1}{N} \sum_{c=1}^{C} \mathbb{1}\{y = c\} \log(p_c), \qquad p = f(x_i) \]

例：语义分割　如引言中所述，语义分割是对输入图像中每一个像素进行分类的任务。这里 $X = \mathbb{R}^{H \times W \times 3}$，与上面的图像分类相同，但 $Y = \mathcal{C}^{H \times W}$ 与之不同。输出 $f(x) = p = (p_c^{(h,w)})$ 是每个像素上关于各类别的一个分布。

我们使用逐像素平均的交叉熵损失作为损失函数：

\[L(y, f(x_i)) = -\frac{1}{N \cdot H \cdot W} \sum_{h=1}^{H} \sum_{w=1}^{W} \sum_{c=1}^{C} \mathbb{1}\{y_i^{(h,w)} = c\} \log(p_c^{(h,w)}), \qquad p = f(x_i^{(h,w)}) \]

例：晶体性质预测　材料科学中的一个常见任务，是根据晶体的原子结构（一个无向图）预测晶体的性质（例如形成能）。作为一个学习问题，这是一个回归问题，其中 $X$ 是所有无向图的集合，$Y = \mathbb{R}$。

对于损失函数，由于其对离群点的稳健性，通常使用平均绝对误差（mean absolute error，MAE）：

\[L(y, f(x)) = |y - f(x)| \]

2.1 学习问题

学习就是寻找一个能从有限数据 $S$ 泛化到无穷空间 $X \times Y$ 的函数 $\hat{f}$。这一思想可以表述为最小化期望损失 $E$，也称为风险（risk）：

\[E(f) = \mathbb{E}[L(y, f(x))] = \int_{X \times Y} L(y, f(x)) \, d\rho(x, y) \]

我们学习的目标就是使风险最小化：

\[f^* = \operatorname*{arg\,min}_{f \in \mathcal{F}} \mathbb{E}[L(y, f(x))] = \operatorname*{arg\,min}_{f \in \mathcal{F}} \int_{X \times Y} L(y, f(x)) \, d\rho(x, y) \]

由于我们只有有限数据，连计算风险本身都不可能。作为替代，我们用数据来近似它，得到经验风险（empirical risk）：

\[\hat{E}(f) = \frac{1}{n} \sum_{i=1}^{n} L(y_i, f(x_i)) \approx \int_{X \times Y} L(y, f(x)) \, d\rho(x, y) \tag{2.1} \]

这一概念——经验风险最小化——是现代机器学习很大一部分内容的基础。

人们或许希望，通过在所有可测函数上最小化经验风险，我们就能近似 2.1 右端的项，并找到一个与所期望的函数 $f^*$ 相近的函数 $\hat{f} = \operatorname*{arg\,min}_{f \in \mathcal{F}} \hat{E}(f)$。然而，如果没有额外的假设或先验，这是不可能的。在这个无约束的设定下，没有任何模型能在所有数据分布上都达到低误差，这一结果被称为没有免费的午餐定理（No Free Lunch Theorem）。

我们经验学得的函数 $\hat{f}$ 与最佳可能函数之间的性能差异称为泛化间隙（generalization gap）或泛化误差（generalization error）。我们的目标，是让这个误差超过 $\varepsilon$ 的概率尽可能小：

\[P\left( E(\hat{f}) - \inf_{f \in \mathcal{F}} E(f) > \varepsilon \right) \]

注意，这里的 $P$ 指的是测度 $\rho^N$，而 $\hat{f}$ 是一个随机变量，因为它是输入为随机变量 $S$ 的算法 $\mathcal{A}$ 的输出。^[11]

我们希望这个间隙在数据趋于无穷的极限下收缩为零：

\[\lim_{n \to \infty} P\left( E(\hat{f}) - \inf_{f \in \mathcal{F}} E(f) > \varepsilon \right) = 0 \qquad \forall \varepsilon > 0 \tag{2.2} \]

具有这一性质的学习算法称为关于 $\rho$ 一致的（consistent）。更强地，如果性质 2.2 对所有固定的分布 $\rho$ 都成立，则该算法是普遍一致的（universally consistent）。再强一些，一个在所有分布的所有有限样本上都是一致的算法，称为一致普遍一致的（uniformly universally consistent）：

\[\lim_{n \to \infty} \sup_{\rho} P\left( E(\hat{f}) - \inf_{f \in \mathcal{F}} E(f) > \varepsilon \right) = 0 \qquad \forall \varepsilon > 0 \tag{2.3} \]

遗憾的是，这最后一个条件太强了。这就是著名的"没有免费的午餐"定理。

定理 2.1.1（没有免费的午餐定理）　没有任何学习算法能实现一致普遍一致性。也就是说，对所有 $\varepsilon > 0$：

\[\lim_{n \to \infty} \sup_{\rho} P\left( E(\hat{f}) - \inf_{f \in \mathcal{F}} E(f) > \varepsilon \right) = \infty \]

关于一个简单的证明，读者可参阅 ^[10:1]（第 5.1 节）。

2.2 正则化

没有免费的午餐定理断言，在完全无约束的设定下学习是不可能的。然而，如果我们约束我们的问题，我们就能对我们学习的能力做出有意义的陈述。观察方程 2.3，约束学习问题有两条显然的途径：(1) 把我们限制在一类概率分布上，把 $\sup_\rho$ 换成 $\sup_{\rho \in \Theta}$；或 (2) 把我们限制在一个受限的目标函数类 $H$ 上，把 $\inf_{f \in \mathcal{F}}$ 换成 $\inf_{f \in H}$。我们考察后一种途径，这也是统计学习理论中常见的做法。

为了使学习可行，我们在一个受限的假设空间 $H$ 上做优化。但我们该如何选择 $H$？一方面，我们希望 $H$ 大一些，这样我们就能学习复杂的函数。另一方面，$H$ 大时，我们会找到那些拟合训练数据却无法泛化到新数据的复杂函数，这一概念称为过拟合（overfitting）。

理想情况下，我们希望数据多的时候能学习复杂函数，数据少的时候偏好简单函数而不是更复杂的函数。我们引入正则化正是为了这个目的。正则化的形式是在我们的损失项上添加一个惩罚项 $R$，使学习偏向更简单、更光滑的函数。

本论文的大部分内容都在讨论"简单"或"光滑"的函数意味着什么。一旦我们能够表达并计算简单或光滑的含义，我们就可以把它作为正则化项加到我们的损失上。

此外，如果我们对什么是简单函数有任何任务特定的或问题特定的理解，我们都可以把它们作为正则化项纳入我们的学习框架。这样，我们就可以把关于问题结构的先验知识注入算法，从而能从小数据集上进行更有效的学习。

有了正则化，学习问题就变成：

\[\operatorname*{arg\,min}_{f \in H} \; \hat{E}(f, x, y) + \lambda R(f, x, y) \]

其中 $H$ 可以是一个相对较大的假设空间。

参数 $\lambda$ 平衡我们的经验风险项与正则化项。当 $\lambda$ 大时，目标函数由正则化项主导，这意味着简单函数比更拟合数据的函数更受青睐。当 $\lambda$ 小时，目标函数由经验风险项主导，因此即使函数很复杂，经验风险更低的函数也更受青睐。调参 $\lambda$ 是许多实际机器学习问题的重要环节，围绕 $\lambda$ 的自动选择有大量文献 ^[12]。

记号说明：完整表达式 $L + \lambda R$ 通常被称为损失函数，并用字母 $L$ 表示。凡在后续章节中可能出现歧义之处，我们都会澄清记号。

通常，$R$ 只依赖于函数 $f$ 及其参数。我们将这种正则化称为数据无关正则化（data-independent regularization），为记号简便记作 $R(f)$。读者可能熟悉常见的正则化函数（例如 $L_1$/$L_2$ 权重惩罚），它们几乎都是数据无关的。第5章探讨的流形正则化则是数据相关正则化的一个例子。

例（数据无关）：线性回归　在线性回归中，常见的做法是在标准最小二乘目标上添加一个基于权重幅度的正则化项：

\[R(f) = \|w\|_\alpha, \qquad \alpha > 0 \]

当 $\alpha = 2$ 时，这称为岭回归（Ridge Regression）；当 $\alpha = 1$ 时，称为套索回归（Lasso Regression）。二者都是吉洪诺夫正则化（Tikhonov regularization）的实例，这是一种数据无关的正则化方法，将在下一章中探讨。

例（数据相关）：图像分类　当处理图像等专门领域时，我们可以在正则化框架中纳入额外的归纳偏置。例如，我们期望一幅图像无论被轻微旋转、裁剪还是沿竖直方向翻转，都会被分到同一个类别。

视觉表示学习（visual representation learning）领域近期的研究利用这些变换来定义新的正则化函数。例如，^[13] 引入了一个正则化项，惩罚一个函数在图像上的预测与同一图像的增强版本上的预测之间的差异：

\[R(f, x) = KL\big(f(x), f(\mathrm{Aug}(x))\big) \]

其中 $\mathrm{Aug}$ 是一个增强函数，例如旋转 $15^\circ$，而 $KL(\cdot, \cdot)$ 是 Kullback–Leibler 散度，一种度量两个分布之间距离的量（因为 $f(x)$ 是 $C$ 个可能类别上的一个分布）。在有少量有标签数据的图像分类设定下，这一方法目前达到了最先进的性能 ^[13:1]。

第3章核学习

在上一章中，我们把学习问题描述为在函数空间 $H$ 上最小化正则化经验风险。本章致力于构造一类恰当的函数空间 $H$，即所谓的再生核希尔伯特空间（Reproducing Kernel Hilbert Space，RKHS）。我们的方法受到 ^[14]、^[15]、^[16]、^[9:1] 的启发。

一旦理解了这些空间，我们就会发现经验风险最小化问题可以被极大地简化。具体而言，表示定理 3.3.1 指出，该问题的解可以写成在数据点处取值的函数（核）的线性组合，这使得在 $H$ 上的优化变得与在 $\mathbb{R}^n$ 上的优化一样简单。

在本章末尾，我们将这些工具发展成核学习的一般框架，并描述三个经典的核学习算法。由于其通用性与简洁性，核学习在当今的机器学习实践中属于最受欢迎的方法之列。

3.0.1 动机

我们在上一章中发展出的学习问题是：在假设空间 $H$ 上最小化正则化经验风险

\[\operatorname*{arg\,min}_{f \in H} \; \hat{E}(f, x, y) + \lambda R(f, x, y) \]

正则化函数 $R$ 对应着这样一种归纳偏置：简单的函数优于复杂的函数，这实际上使我们能够在大的空间 $H$ 上进行优化。

此时仍有两个问题悬而未决：(1) 如何定义 $H$ 使优化成为可能；(2) 如何定义 $R$ 来刻画函数的复杂性。

如果我们的函数是 $\mathbb{R}^d$ 中的向量，那么两个问题都会立刻得到解决。首先，我们在计算上擅长求解有限维欧氏空间上的优化问题。其次，欧氏空间的线性结构为我们提供了一种自然的度量向量大小或复杂性的方式，即范数 $\|v\|$。此外，经过几十年的发展，统计学家已经在 $\mathbb{R}^d$ 中建立了完备的线性统计学习理论。

在理想情况下，我们希望以处理 $\mathbb{R}^d$ 中向量的同样方式来处理 $H$ 中的函数。正是出于这一动机，数学家们发展出了再生核希尔伯特空间。

非形式地说，再生核希尔伯特空间（RKHS）是一个可能无限维的空间，它看起来和用起来都像欧氏空间。它被定义为一个满足额外光滑性条件（再生性质）的希尔伯特空间（完备的内积空间）。与欧氏空间一样，我们可以用 RKHS 内积对应的范数 $\|\cdot\|_K$ 来度量空间中函数的复杂性。与欧氏空间不同的是，我们还需要一个额外的性质来保证：如果两个函数在范数意义下接近，那么它们在逐点意义下也接近。这个性质是必不可少的，因为它保证了范数小的函数处处都接近于 0，也就是说，不存在范数很小的"复杂"函数。

一个 RKHS 与一个核 $K : X \times X \to \mathbb{R}$ 相关联，后者可以被看作两个数据点 $x, x' \in X$ 之间相似性的一种度量。核学习算法（即在 RKHS 上的优化问题）的一个决定性特征是：算法只通过核函数来访问数据。因此，核学习算法具有高度的通用性；只要能在点对之间定义一种相似性度量，数据空间 $X$ 就可以是任何东西。例如，为分子、文本字符串或图像构造核学习算法是很容易的。

3.1 再生核希尔伯特空间

现在我们已经准备好正式引入再生核希尔伯特空间。

回顾一下，希尔伯特空间 $V$ 是配备了内积 $\langle \cdot, \cdot \rangle$ 的完备向量空间。在本章中（除了少数几个例子），我们只处理实向量空间，但所有结果都可以毫不费力地推广到复向量空间。

对于集合 $X$，我们用 $\mathbb{R}^X$ 表示从 $X$ 到 $\mathbb{R}$ 的函数的集合。我们通过逐点定义加法与数乘，赋予 $\mathbb{R}^X$ 向量空间结构：

\[(f_1 + f_2)(x) = f_1(x) + f_2(x) \qquad (a \cdot f)(x) = a \cdot f(x) \]

线性泛函是 $\mathbb{R}^X$ 的对偶空间的成员，可以被看作从 $\mathbb{R}^X$ 到 $\mathbb{R}$ 的线性函数。一个特殊的线性泛函 $e_x$——称为求值泛函（evaluation functional）——把函数 $f$ 送到它在点 $x$ 处的值：

\[e_x(f) = f(x) \]

当这些求值泛函有界时，我们的集合就具有了相当可观的结构。

定义 3.1.1（RKHS）　设 $X$ 是非空集合。我们称 $H$ 是 $X$ 上的再生核希尔伯特空间，如果

$H$ 是 $\mathbb{R}^X$ 的向量子空间；

$H$ 配备了内积 $\langle \cdot, \cdot \rangle$（它是一个希尔伯特空间）；

对所有 $x \in X$，线性求值泛函 $e_x : H \to \mathbb{R}$ 有界。

最后一条意味着 $e_x$ 是连续的（甚至 Lipschitz 连续）。为看清这一点，我们可以写出：

\[\|e_x(f + h) - e_x(f)\| = \|e_x(h)\| \le M_x \|h\| \quad \text{对某个常数 } M_x \]

令 $\|h\| \to 0$，我们就得到 $e_x$ 的连续性。

重要的是，根据著名的里斯表示定理（Riesz Representation Theorem），每个求值泛函 $e_x : H \to \mathbb{R}$ 都自然地对应一个函数 $k_x \in H$。我们称 $k_x$ 为 $x$ 的核函数，或中心在 $x$ 处的核函数。

定理 3.1.2（里斯表示定理）　如果 $\varphi$ 是希尔伯特空间 $H$ 上的有界线性泛函，那么存在唯一的 $g \in H$，使得

\[\varphi(f) = \langle g, f \rangle \]
对所有 $f \in H$ 成立。

推论 1　设 $H$ 是 $X$ 上的 RKHS。对每个 $x \in X$，存在唯一的 $k_x \in H$，使得

\[\langle k_x, f \rangle = f(x) \]
对所有 $f \in H$ 成立。

$x$ 的核函数是"再生的"，其意义在于：它与函数 $f$ 的内积再生出 $f$ 在 $x$ 处的值。

定义 3.1.3（再生核）　由

\[K(x, y) = k_y(x) \]
定义的函数 $K : X \times X \to \mathbb{R}$ 称为 $H$ 的再生核。

核 $K$ 是对称的，因为内积是对称的：

\[K(x, y) = k_y(x) = \langle k_y, k_x \rangle = \langle k_x, k_y \rangle = k_x(y) = K(y, x) \]

如果我们是在复向量空间中工作，核将具有共轭对称性。

定理 3.1.4（核与 RKHS 之间的等价性）　每个 RKHS 都有唯一的再生核，而每个再生核都诱导唯一的 RKHS。

证明　我们已经通过里斯表示定理看到，每个 RKHS 都诱导唯一的核。反方向是 Cauchy-Schwarz 不等式的一个推论，该不等式断言 $\langle x, y \rangle \le \|x\| \|y\|$。如果 $K$ 是希尔伯特空间 $H$ 上的再生核，那么

\[e_x(f) = \langle k_x, f \rangle \le \|k_x\| \|f\| = \sqrt{K(x, x)} \cdot \|f\| \]
所以 $e_x$ 有界，从而 $H$ 是 RKHS。证毕

再生核的存在性有时被称为再生核性质。

我们注意到，尽管 RKHS 的最初定义涉及它的求值泛函，但事实证明，从核函数的角度来思考这样的空间比从求值泛函的角度要容易得多。

3.1.1 例子

现在我们来看再生核希尔伯特空间的一些具体例子，从简单的空间逐步过渡到更复杂的空间。

例：$\mathbb{R}^d$ 中的线性函数　我们从最简单的再生核希尔伯特空间——欧氏空间——开始。考虑 $H = \mathbb{R}^d$，配备标准基向量 $e_1, \dots, e_d$ 与标准内积：

\[\langle x, w \rangle = \sum_{i=1}^{d} x_i w_i \]

用上面的记号，$X$ 是离散集合 $\{1, \dots, d\}$，$e_i \in H$ 是核函数

\[\langle e_i, x \rangle = x(i) = x_i \]

再生核 $K : \mathbb{R}^d \times \mathbb{R}^d \to \mathbb{R}$ 就是单位矩阵

\[K(i, j) = \langle e_i, e_j \rangle = \mathbb{1}_{i = j} \]

因此对任意 $x, x' \in \mathbb{R}^d$，我们有

\[K(x, x') = \langle x, x' \rangle \]

一般地，对任意离散集合 $X$，平方可和函数的希尔伯特空间 $L^2(X) = \{f \in \mathbb{R}^X : \sum_x |f(x)|^2 < \infty\}$ 具有由规范正交基向量 $e_y(x) = \mathbb{1}\{x = y\}$ 诱导的 RKHS 结构。

例：$\mathbb{R}^p$ 中的特征映射　我们可以通过考虑一族线性无关的映射 $D = \{\varphi_i\}_{i=1}^{p}$（其中 $\varphi_i : X \to \mathbb{R}$）来推广上一个例子。设 $H$ 为张成空间：

\[H = \operatorname{span}\{D\} = \Big\{f : X \to \mathbb{R} : f(x) = \sum_{i=1}^{p} w_i \varphi_i(x) \text{ 对某个 } w \in \mathbb{R}^p\Big\} \]

映射 $\varphi_i$ 在机器学习社区中被称为特征映射（feature map）。

我们定义 $H$ 上的内积为

\[\langle x, x' \rangle_H = \langle \varphi(x), \varphi(x') \rangle_{\mathbb{R}^p} = \sum_{i=1}^{p} \varphi_i(x) \varphi_i(x') \]

而核 $K : X \times X \to \mathbb{R}$ 就是

\[K(x, x') = \langle \varphi(x), \varphi(x') \rangle_{\mathbb{R}^p} \]

线性函数对应于 $X = \{1, \dots, d\}$、$p = d$ 且 $\varphi_i(x) = x_i$ 的情形。

例：多项式　特征映射最常见的例子之一是 $\mathbb{R}^d$ 中次数至多为 $s$ 的多项式。例如，当 $s = 2$、$d = 2$ 时，

\[\varphi(x) = \big(1, \sqrt{2}x_1, \sqrt{2}x_2, \sqrt{2}x_1 x_2, x_1^2, x_2^2\big) \]

对应的多项式核为

\[K(x, x') = 1 + 2x_1 x_1' + 2x_2 x_2' + 2x_1 x_2 x_1' x_2' + x_1^2 x_1'^2 + x_2^2 x_2'^2 = \big(1 + \langle x, x' \rangle\big)^2 \]

一般地，$\mathbb{R}^d$ 中次数至多为 $s$ 的多项式的 RKHS 具有核 $(1 + \langle x, x' \rangle)^s$，并且是一个维数为 $\binom{s+d}{d}$ 的空间。

例：Paley-Wiener 空间　Paley-Wiener 空间是具有平移不变核的 RKHS 的经典例子，所谓平移不变核即形如 $K(x, x') = K'(\|x - x'\|)$（对某个函数 $K'$）的核。Paley-Wiener 空间在信号处理中无处不在，在那里平移不变性是一个非常理想的性质。

由于我们关心平移不变性，在频率空间中工作是自然的。回顾傅里叶变换：

\[\hat{f}(\xi) = \int_{-\infty}^{\infty} f(x) e^{-2\pi i x \xi} \, dx \]

考虑具有有限频率的函数，即那些傅里叶变换支撑在紧致区域 $[-A, A]$ 上的函数。定义 Paley-Wiener 空间 $PW_A$ 为

\[PW_A = \{\hat{f} : f \in L^2([-A, A])\} \]

其中 $L^2$ 指的是平方可积函数。

我们可以通过证明 $PW_A$ 与 $L^2([-A, A])$ 同构（作为希尔伯特空间）来赋予 $PW_A$ 一个 RKHS 结构。根据 $PW_A$ 的定义，对每个 $\hat{f} \in PW_A$，存在 $f \in L^2([-A, A])$，使得

\[\hat{f}(\xi) = \int_{-\infty}^{\infty} f(x) e^{-2\pi i x \xi} \, dx = \int_{-A}^{A} f(x) e^{-2\pi i x \xi} \, dx \]

我们断言，这个变换作为映射 $L^2([-A, A]) \to PW_A$ 是一个同构。它显然是线性的，所以我们需要证明它是双射。

为证明双射性，注意到函数 $\{x \mapsto e^{2\pi i n x / A}\}_{n \in \mathbb{N}}$ 构成 $L^2([-A, A])$ 的一组基。于是若对每个 $n \in \mathbb{N}$ 都有 $\hat{f}(n/A) = 0$，则 $f = 0$ 几乎处处成立，反之亦然。因此 $L^2([-A, A])$ 与 $PW_A$ 同构。

我们现在可以赋予 $PW_A$ 内积

\[\langle \hat{f}_1, \hat{f}_2 \rangle_{PW_A} = \langle f_1, f_2 \rangle_{L^2} = \int_{-A}^{A} f_1(x) f_2(x) \, dx \]

由于对任意 $\hat{f} \in PW_A$，

\[|\hat{f}(x)| = \big|\langle f, e^{2\pi i x \xi} \rangle_{L^2}\big| \le \|e^{2\pi i x \xi}\|_{L^2} \, \|f\|_{L^2} = \sqrt{2A} \, \|\hat{f}\|_{PW_A} \]

所以求值泛函 $f \mapsto f(x)$ 有界，$PW_A$ 是 RKHS。

为得到核，我们可以利用如下事实：

\[\langle \hat{f}, \widehat{k_y} \rangle_{L^2} = \langle f, k_y \rangle_{PW_A} = f(y) = \langle \hat{f}, e^{2\pi i y t} \rangle_{L^2} \]

逆傅里叶变换给出 $\widehat{k_y}(\xi) = e^{2\pi i y \xi}$。计算这个积分就得到核：

\[K(x, y) = k_y(x) = \int_{-A}^{A} e^{2\pi i (x - y) \xi} \, d\xi = \begin{cases} 2A & x = y \\ \dfrac{\sin(2\pi A (x - y))}{\pi (x - y)} & x \ne y \end{cases} \]

这个核是 sinc 函数的一个变换，sinc 函数定义为：

\[\operatorname{sinc}(x) = \begin{cases} 1 & x = 0 \\ \dfrac{\sin(x)}{x} & x \ne 0 \end{cases}, \qquad K(x, y) = 2A \, \operatorname{sinc}(2\pi A (x - y)) \]

例：Sobolev 空间　Sobolev 空间是绝对连续函数的空间，在实分析与复分析中处处出现。

函数 $f : [0, 1] \to \mathbb{R}$ 是绝对连续的，如果对每个 $\varepsilon > 0$ 都存在 $\delta > 0$，使得只要有限个两两不相交的子区间 $\{(x_k, y_k)\} \subset [0, 1]$ 满足 $\sum_k (y_k - x_k) < \varepsilon$，就有 $\sum_k |f(y_k) - f(x_k)| < \delta$。

直观地说，绝对连续函数就是那些满足微积分基本定理的函数。事实上，Lebesgue 积分微积分基本定理断言以下二者等价：

$f$ 绝对连续；
$f$ 几乎处处有导数，且对 $[a, b]$ 中所有的 $x$ 有 $f(x) = f(a) + \int_a^x f'(t) \, dt$。

设 $H$ 为导数平方可积、且在 0 和 1 处取值为 0 的绝对连续函数的集合：

\[H = \{f : f' \in L^2([0, 1]),\ f(0) = f(1) = 0,\ f \text{ 绝对连续}\} \]

我们赋予 $H$ 内积

\[\langle f, g \rangle = \int_0^1 f'(x) g'(x) \, dx \]

我们看到 $H$ 中函数的值是有界的

\[|f(x)| = \Big|\int_0^x f'(t) \, dt\Big| = \Big|\int_0^1 f'(t) \mathbb{1}\{t < x\} \, dt\Big| \le \Big(\int_0^1 f'(t)^2 \, dt\Big)^{1/2} \Big(\int_0^1 \mathbb{1}\{t < x\} \, dt\Big)^{1/2} = \|f\| \sqrt{x} \]

所以求值泛函有界。不难证明，在此内积下空间 $H$ 是完备的，因此 $H$ 是 RKHS。

现在我们以一种不严格、但借助更多形式化工具可以变得严格的方式计算核 $k_x$。我们首先分部积分：

\[f(x) = \langle f, k_x \rangle = \int_0^1 f'(t) k_x'(t) \, dt = f(t) k_x'(t)\Big|_0^1 - \int_0^1 f(t) k_x''(t) \, dt = - \int_0^1 f(t) k_x''(t) \, dt \]

我们看到，如果 $k_x$ 满足

\[-k_x''(t) = \delta_x(t), \qquad k_x(0) = 0, \qquad k_x(1) = 0 \]

其中 $\delta_x$ 是狄拉克 $\delta$ 函数，那么它就是一个再生核。这样的函数称为格林函数（Green's function），它给出解：

\[k_x(t) = K(t, x) = \begin{cases} (1 - x)t & t \le x \\ (1 - t)x & x \le t \end{cases} \]

现在很容易验证

\[\langle f, k_x \rangle = \int_0^1 f'(t) k_x'(t) \, dt = \int_0^x f'(t)(1 - x) \, dt + \int_x^1 f'(t)(-x) \, dt = f(x) \]

随机微积分中的一个例子　在上面的例子中，我们考虑了 $[0, 1]$ 上具有平方可积导数 $f'$、且在 $t = 0, 1$ 处取值为 0 的函数 $f$。我们发现核 $K(x, t)$ 在 $x < t$ 时由 $x(1 - t)$ 给出。

如果读者熟悉随机微积分，这个描述听起来可能似曾相识。特别是，它与布朗桥（Brownian bridge）的定义相似。布朗桥是一个随机过程 $X_t$，其分布等于布朗运动在 $X_0 = X_1 = 0$ 条件下的分布。它的协方差函数由 $\operatorname{Cov}(X_s, X_t) = s(1 - t)$（$s < t$）给出。

现在考虑只要求 $f(0) = 0$ 的函数空间 $H$：

\[H = \{f : f' \in L^2([0, 1]),\ f(0) = 0,\ f \text{ 绝对连续}\} \]

如果上一个例子像布朗桥，那么这个例子就像布朗运动。事实上，通过与上面例子类似的步骤可以证明，$H$ 的核函数由

\[K(x, t) = \min(s, t) \]

给出，这与布朗运动的协方差 $\operatorname{Cov}(B_s, B_t) = \min(s, t)$ 吻合。

这一非凡的联系并非巧合。给定一个协方差函数为 $R$ 的随机过程 $X_t$，可以定义一个由该 $X_t$ 生成的希尔伯特空间。Loeve 的一个基本定理 ^[17] 断言：这个希尔伯特空间与以 $R$ 为核的再生核希尔伯特空间全等。

例：Sobolev 空间 $H^1$　考虑空间

\[H = H^1 = \{f : f \in L^2(\mathbb{R}),\ f' \in L^2(\mathbb{R}),\ f \text{ 绝对连续}\} \]

配备内积

\[\langle f, g \rangle = \frac{1}{2} \int_{-\infty}^{\infty} f(t) g(t) + f'(t) g'(t) \, dt \]

它诱导范数

\[\|f\|_{H^1}^2 = \frac{1}{2} \Big( \|f\|_{L^2}^2 + \big\|f'\big\|_{L^2}^2 \Big) \]

得到的 RKHS $H^1$——Sobolev 空间的另一个例子——可以通过多种方式来理解。

从 Paley-Wiener 空间例子的视角看，它是一个最好在傅里叶空间中看待的平移不变核。可以用傅里叶变换证明 $K(x, y) = \kappa(|x - y|)$，其中 $\hat{\kappa}(\xi) = \dfrac{2}{1 + \xi}$。然后逆傅里叶变换表明 $K$ 由下式给出：

\[K(x, y) = \frac{1}{2} e^{-|x - y|} \]

从随机微积分的视角看，这个空间对应于 Ornstein-Uhlenbeck 过程

\[dX_t = -\theta X_t \, dt + \sigma \, dB_t \]

它是平方连续但非平方可积的。$H$ 的核函数对应于 OU 过程的协方差函数：^[18]

\[K(s, t) \propto \operatorname{Cov}(B_s, B_t) = \frac{\sigma^2}{2\theta} e^{-\theta|s - t|} \]

最后，我们注意到可以推广这个例子。对任意 $\gamma > 0$，核

\[K(x, y) = \frac{1}{2} e^{-\gamma|x - y|} \]

被称为指数核，它对应于范数

\[\|f\|_H^2 = \frac{1}{2\gamma} \Big( \|f\|_{L^2}^2 + \big\|f'\big\|_{L^2}^2 \Big) \]

3.1.2 结构

到目前为止，我们已经把 RKHS 定义为具有再生性质的希尔伯特空间，并给出了许多此类空间的例子。然而，为什么需要再生性质还不清楚。事实上，上面所有的例子都可以简单地作为带内积的希尔伯特空间来呈现，而不必作为带核的 RKHS。

传达再生性质重要性的最好方式，是给出一个不是 RKHS 的希尔伯特空间的例子，并说明它的行为很糟糕。然而，显式地构造这样的例子是不可能的。它等价于给出一个无界线性泛函的例子，而这只能（非构造性地）借助选择公理（Axiom of Choice）来完成。

一个经常被错误引用为"不是 RKHS 的希尔伯特空间"的例子是 $L^2(\Omega)$——定义域 $\Omega$ 上平方可积函数的空间。这个例子并不成立，因为 $L^2$ 严格来说并不是函数的集合，而是"在零测集上取值不同的函数"的等价类的集合。$L^2$ 空间不关心函数在单个点上的值（只关心在正测度集合上的值），而再生核希尔伯特空间则非常关心函数在单个点上的值。^[19] 在这个意义上，RKHS 的行为与 $L^2$ 空间相当不同。

反例　这个例子说明 $L^2$ 中的范数并不在逐点意义上控制函数。考虑由下式定义的序列 $f_n \in L^2([0, 1])$：

\[f_n(x) = \begin{cases} 1 & \frac{1}{2} - \frac{1}{n} \le x \le \frac{1}{2} + \frac{1}{n} \\ 0 & \text{其他} \end{cases} \]

当 $n \to \infty$ 时，它在 $L^2$ 范数下收敛到 0 函数。然而，它在 $1/2$ 处的值始终是 $f_n(1/2) = 1$。也就是说，存在范数任意小、但在单个点上的值无界的函数。

RKHS 再生性质的目的正是阻止这类行为。

定理 3.1.5　设 $H$ 是 $X$ 上的 RKHS。如果 $\lim_{n \to \infty} \|f_n - f\| = 0$，那么对所有 $x \in X$ 有 $\lim_{n \to \infty} f_n(x) = f(x)$。

证明　由再生核的存在性与 Cauchy-Schwarz 不等式，

\[|f_n(x) - f(x)| = |(f_n - f)(x)| = |\langle f_n - f, k_x \rangle| \le \|f_n - f\| \, \|k_x\| \]
所以 $\lim_{n \to \infty} |f_n(x) - f(x)| = 0$。证毕

我们还可以用底层希尔伯特空间的基来逐点表示 $K$。

定理 3.1.6　记 $\{e_s\}_{s \in S}$ 为 RKHS $H$ 的一组基。那么

\[K(x, y) = \sum_{s \in S} e_s(x) e_s(y) \]
其中收敛是逐点的。

证明　由再生性质，

\[k_y = \sum_{s \in S} \langle k_y, e_s \rangle e_s = \sum_{s \in S} e_s(y) e_s \]
其中级数在范数意义下收敛，因而逐点收敛。于是

\[K(x, y) = k_y(x) = \sum_{s \in S} e_s(y) e_s(x) \]
证毕

图 3.2.1　核、正函数与特征映射内积之间等价关系的示意图。

3.2 核、正函数与特征映射

至此，我们已经准备好对核函数的集合进行完整的刻画。

定义 3.2.1（正函数）　设 $X$ 为任意集合。对称函数 $K : X \times X \to \mathbb{R}$ 称为正函数，如果对 $X$ 中任意 $n$ 个点 $\{x_1, \dots, x_n\}$，矩阵 $(K)_{ij} = K(x_i, x_j)$ 都是半正定的。等价地，对任意 $c_1, \dots, c_n \in \mathbb{R}$，有

\[\sum_{i=1}^{n} \sum_{j=1}^{n} c_i c_j K(x_i, x_j) \ge 0 \]

注　正函数有时也被称为正定（positive definite）、半正定（positive semidefinite）、非负（nonnegative）或半正（semipositive）。我们用"正"表示 $\ge 0$，用"严格正"表示 $> 0$。

我们现在证明核与正函数之间存在一一对应。

定理 3.2.2　如果 $K = \langle \cdot, \cdot \rangle$ 是 RKHS $H$ 的核，那么它是一个正函数。

证明　首先注意 $K$ 是对称的，因为 $H$ 上的内积是对称的。其次，我们计算

\[\sum_{i,j=1}^{n} c_i c_j K(x_i, x_j) = \Big\langle \sum_{i=1}^{n} c_i x_i, \sum_{i=1}^{n} c_i x_i \Big\rangle = \Big\| \sum_{i=1}^{n} c_i x_i \Big\|^2 \ge 0 \]
证毕

反方向是归功于 Moore 的著名定理。

定理 3.2.3（Moore-Aronszajn 定理）　设 $X$ 是一个集合，并假设 $K : X \times X \to \mathbb{R}$ 是正函数。那么存在唯一的函数空间 $H$（$X \to \mathbb{R}$ 上的希尔伯特空间），使得 $K$ 是 $H$ 的再生核。

证明　定义 $k_y$ 为 $k_y(x) = K(x, y)$。注意，如果 $K$ 是某个 RKHS $H$ 的核，那么集合 $\{k_y\}_{y \in X}$ 的张成在 $H$ 中是稠密的，因为若对所有 $y \in X$ 都有 $\langle k_y, f \rangle = 0$，则对所有 $y \in X$ 都有 $f(y) = 0$。

受此启发，定义 $V$ 为 $\{k_y\}_{y \in X}$ 张成的向量空间。在 $V$ 上定义双线性形式 $\langle \cdot, \cdot \rangle$ 为

\[\Big\langle \sum_i c_i k_{y_i}, \sum_i c_i' k_{y_i} \Big\rangle = \sum_{i,j} c_i c_j' K(y_i, y_j) \]
我们的目标是证明 $\langle \cdot, \cdot \rangle$ 是一个内积。由 $K$ 的性质，它是正定的、双线性的且对称的，所以剩下的只需证明它是良定义的。为此，我们需要检验 $f = 0 \iff \langle f, g \rangle = 0$ 对所有 $g \in V$ 成立。

($\Rightarrow$) 如果对所有 $g \in V$ 都有 $\langle f, g \rangle = 0$，令 $g = k_y$，我们看到对所有 $y \in X$ 有 $\langle f, g \rangle = f(y) = 0$。因此 $f = 0$。

($\Leftarrow$) 如果 $f = 0$，那么 $\langle f, k_y \rangle = \sum_i c_i K(x_i, y) = f(y) = 0$。由于 $k_y$ 张成 $V$，每个 $g \in V$ 都可以表示为 $k_y$ 的线性组合，从而对所有 $g \in V$ 有 $\langle f, g \rangle = 0$。

因此 $\langle \cdot, \cdot \rangle$ 是良定义的，并且是 $V$ 上的内积。此外，我们可以通过考虑关于此内积诱导的范数的柯西序列，构造出 $V$ 的完备化 $G$。注意 $G$ 是一个希尔伯特空间。

剩下的就是在 $G$ 与函数集合 $X \to \mathbb{R}$ 之间建立一个双射。注意，这正是 $L^2$ 空间不能成为 RKHS 的地方。设 $H$ 为形如 $\bar{f}(x) = \langle f, k_x \rangle$ 的函数（其中 $f \in G$）的集合：

\[H = \{\bar{f} : f \in G\} \]
并观察到 $H$ 的元素是 $X \to \mathbb{R}$ 的函数。我们看到，若 $f = 0$，则对所有 $x \in X$ 有 $\langle f, k_x \rangle = 0$，所以 $\bar{f} = 0$。因此映射 $f \mapsto \bar{f}$ 是线性的（由内积的性质）且是一对一的。于是，配备内积 $\langle \bar{f}, \bar{g} \rangle_H = \langle f, g \rangle_G$ 的空间 $H$ 是一个希尔伯特空间，并且对 $x \in X$ 具有再生核 $k_x$。这就是我们想要的 RKHS。证毕

RKHS 拼图中还有最后一块：特征空间的概念。

设 $X$ 是一个集合。给定一个希尔伯特空间 $F$（不一定是 $X \to \mathbb{R}$ 的函数构成的空间），特征映射是一个函数 $\varphi : X \to F$。在机器学习中，$X$ 和 $F$ 通常分别被称为数据空间和特征空间。上面我们在 $H = \mathbb{R}^p$ 的情形下看到了这个例子。现在 $\varphi$ 可能取值于一个无限维希尔伯特空间，但思想完全相同。

给定特征映射 $\varphi$，我们构造由内积给出的核

\[K(\cdot, \cdot) = \langle \varphi(\cdot), \varphi(\cdot) \rangle \]

或等价地 $\varphi(x) = k_x$。如上所示，这个核在 $X$ 上定义了一个 RKHS。

反过来，每个核 $K$ 都可以写成某个特征映射 $\varphi$ 的内积 $\langle \varphi(\cdot), \varphi(\cdot) \rangle$。换言之，下面的图交换：

我们注意到，上面的希尔伯特空间 $F$ 和特征映射 $\varphi$ 并不是唯一的。然而，由它们得到的再生核希尔伯特空间——由 $X \to \mathbb{R}$ 的函数构成——是唯一的。换言之，尽管一个特征映射确定唯一的 RKHS，但一个 RKHS 可能有多种特征映射表示。

定理 3.2.4　函数 $K : X \times X \to \mathbb{R}$ 是正的，当且仅当它可以写成 $\langle \varphi(\cdot), \varphi(\cdot) \rangle$ 的形式，其中 $F$ 是某个希尔伯特空间，$\varphi : X \to F$ 是某个映射。

证明　我们给出有限维希尔伯特空间的证明。它可以借助谱算子理论推广到无限维情形，但我们不在此给出全部细节。

首先，假设 $K = \langle \varphi(\cdot), \varphi(\cdot) \rangle_F$。那么对 $v \in F$，

\[\langle v, Kv \rangle = \sum_{i=1}^{n} \sum_{j=1}^{n} v_i \langle \varphi(x_i), \varphi(x_j) \rangle v_j = \Big\langle \sum_{i=1}^{n} v_i \varphi(x_i), \sum_{i=1}^{n} v_i \varphi(x_i) \Big\rangle \ge 0 \]
所以 $K$ 是正定的。

其次，假设 $K$ 是正的。由谱定理把它分解为 $K = V\Lambda V^T$，并令 $\varphi(x) = \Lambda^{1/2} V^T \mathbb{1}_x$。那么

\[\langle \varphi(x), \varphi(x') \rangle_F = \langle \mathbb{1}_x, \mathbb{1}_{x'} \rangle_K = K(x, x') \]
所以 $K = \langle \varphi(\cdot), \varphi(\cdot) \rangle_F$。证毕

现在我们完整地看到了再生核希尔伯特空间、正定函数与特征映射之间的关系。

3.2.1 几何

思考无限维 RKHS 的一种方式是把它看作映射 $x \mapsto k_x$，它把 $X$ 中的每个点送到无限维特征空间中的一个点 $k_x : X \to \mathbb{R}$。

核函数 $K$ 定义了无限维特征空间的几何。

例：高斯核　设 $X = \mathbb{R}^d$ 并考虑高斯核——也许是机器学习中使用最广泛的核：

\[K(x, x') = e^{-\frac{1}{2}\|x - x'\|^2} \]

对应于点 $x$ 的核函数 $k_x$ 是一个中心在 $x$ 处的高斯。由于它的径向对称性，这个核也被称为径向基函数（RBF）核。

事实证明，显式构造高斯核的 RKHS 是很有挑战性的（直到 2006 年才由 ^[20] 给出）。然而，由于不难证明 $K$ 是正函数，我们可以确信这样的 RKHS 存在。

让我们看看它的几何。我们看到每个点 $x \in X$ 都被映射到长度为 1 的点 $k_x$，因为 $\|k_x\|^2 = K(x, x) = 1$。两个点 $k_x, k_y$ 之间的距离为：

\[\|k_x - k_y\|^2 = K(x - y, x - y) = K(x, x) - 2K(x, y) + K(y, y) = 2\Big(1 - e^{-\frac{1}{2}\|x - y\|^2}\Big) < 2 \]

所以任意两点之间的距离不超过 $\sqrt{2}$。

例：min 核　考虑核 $K(s, t) = \min(s, t)$（$s, t \in \mathbb{R}$）。这个核诱导平方距离

\[d_K(s, t)^2 = K(s, s) - 2K(s, t) + K(t, t) = s + t - 2\min(s, t) = \max(s, t) - \min(s, t) = |s - t| \]

即 $\mathbb{R}$ 上标准平方欧氏距离的平方根。

一般地，只要映射 $x \mapsto k_x$ 是唯一的，函数

\[d_K(x, y) = \sqrt{K(x - y, x - y)} = \sqrt{K(x, x) - 2K(x, y) + K(y, y)} \]

就是 $H$ 上一个有效的距离度量。在这个意义上，核定义了两个点 $x$ 与 $y$ 之间的相似性。从特征映射的视角看，距离为

\[d_K(x, y) = \|\varphi(x) - \varphi(y)\| \]

这个度量使我们能够理解那些——像高斯核的 RKHS 那样——难以显式写出的空间的几何。

3.2.2 积分算子

现在我们稍作迂回，讨论核与积分算子之间的联系。这一联系在第 5 章将很有用。

我们称核 $K : X \times X \to \mathbb{R}$ 为 Mercer 核，如果它是连续且可积的。^[21] 也就是说，$K \in L^2(X \times X)$，即

\[\iint_{X \times X} K(x, x') \, dx \, dx' < \infty \]

假设 $X$ 是紧致的，并定义积分算子 $I_K : L^2(X) \to L^2(X)$ 为

\[I_K f(x) = \int_X K(x, x') f(x') \, dx' \]

不难证明 $I_K$ 是线性的、连续的、紧致的、自伴的且正的。线性来自积分的线性性，连续性来自 Cauchy-Schwarz 不等式，紧致性来自 Arzelà-Ascoli 定理的一次应用，自伴性来自 Fubini 定理的一次应用，正性则来自如下事实：积分 $\int f I_K f$ 是形如 $\sum_{i,j} f(x_i) K(x_i, x_j) f(x_j) \ge 0$ 的有限和之极限。

由于 $I_K$ 是紧的、正的算子，谱定理断言 $L^2(X)$ 存在一组由 $I_K$ 的特征函数构成的基。分别记这些特征函数及其特征值为 $\{\varphi_i\}_{i=1}^{\infty}$ 与 $\{\lambda_i\}_{i=1}^{\infty}$。Mercer 定理断言可以在这组基上分解 $K$：

定理 3.2.5（Mercer）

\[K(x, y) = \sum_{i=1}^{\infty} \lambda_i \varphi_i(x) \varphi_i(y) \]
其中收敛在 $X \times X$ 上是绝对且一致的。

这个定理证明起来并不难，但它需要建立大量后续不再使用的工具。我们把感兴趣的读者引向 ^[22]（第 98 节）以获取详细证明。

3.3 吉洪诺夫正则化与表示定理

在建立了数学工具箱之后，我们现在回到机器学习。我们的目标是在空间 $H$ 上最小化正则化经验风险 $\hat{E}(f(x), y) + \lambda R(f, x, y)$。

设 $H$ 是一个 RKHS，因为我们关心函数在逐点意义上的值。令 $R$ 为范数 $\|f\|_K^2 = K(f, f)$，因为它的目的是度量函数的复杂性。

记我们的数据为 $S = \{(x_i, y_i)\}_{i=1}^{N}$，并设 $\hat{E}(f, x, y)$ 是损失函数 $L(f(x_i), y_i)$ 在数据上的和。我们的学习问题于是为

\[\operatorname*{arg\,min}_{f \in H} \; \frac{1}{N} \sum_{i=1}^{N} L(f(x_i), y_i) + \lambda \|f\|_K^2 \tag{3.1} \]

其中 $\lambda > 0$。这个一般框架被称为吉洪诺夫正则化（Tikhonov regularization）。

表示定理把这个无限维的优化问题化为有限维的问题。它断言我们想要的解是数据点上核函数的线性组合。

定理 3.3.1（表示定理）　设 $H$ 是集合 $X$ 上以 $K$ 为核的 RKHS。固定点集 $S = \{x_1, x_2, \dots, x_N\} \subset X$。设

\[J(f) = L(f(x_1), \dots, f(x_N)) + R\big(\|f\|_H^2\big) \]
并考虑优化问题

\[\min_{f \in H} \; J(f) \]
其中 $R$ 是非递减的。那么若极小元存在，则存在如下形式的极小元：

\[f = \sum_{i=1}^{N} \alpha_i k_{x_i} \]
其中 $\alpha_i \in \mathbb{R}$。此外，若 $R$ 严格递增，则每个极小元都具有这一形式。

证明　证明是一个简单的正交性论证。

考虑由数据点处的核张成的子空间 $T \subset H$：

\[T = \operatorname{span}\{k_{x_i} : x_i \in S\} \]
由于 $T$ 是有限维子空间，所以它是闭的，并且每个 $f \in H$ 都可以唯一地分解为 $f = f_T + f_\perp$，其中 $f_T \in T$、$f_\perp \in T^\perp$。

由再生性质，我们可以把 $f(x_i)$ 写成

\[f(x_i) = \langle f, k_{x_i} \rangle = \langle f_T, k_{x_i} \rangle + \langle f_\perp, k_{x_i} \rangle = \langle f_T, k_{x_i} \rangle = f_T(x_i) \]
还要注意

\[R\big(\|f\|^2\big) = R\big(\|f_T\|^2 + \|f_\perp\|^2\big) \ge R\big(\|f_T\|^2\big) \]
于是 $J(f)$ 可以写成

\[J(f) = L(f(x_1), \dots, f(x_N)) + R\big(\|f\|^2\big) = L(f_T(x_1), \dots, f_T(x_N)) + R\big(\|f\|^2\big) \]
\[\ge L(f_T(x_1), \dots, f_T(x_N)) + R\big(\|f_T\|^2\big) = J(f_T) \]
因此，若 $f$ 是 $J$ 的极小元，则 $f_T$ 也是 $J$ 的极小元，并且 $f_T$ 具有所要求的形式。此外，若 $R$ 严格递增，则上面的 $\ge$ 可以替换为 $>$，所以除非 $f = f_T$，否则 $f$ 不可能是 $J$ 的极小元。证毕

如果 $L$ 是凸函数，那么方程 3.1 存在极小元，所以由表示定理它具有形式

\[f(x) = \sum_{i=1}^{N} \alpha_i K(x_i, x) \]

实际上，它把学习问题从维数 $d$（RKHS 的维数）转化为维数 $N$（数据集的规模）。特别是，即使 $d$ 是无限的，它也使我们能够学习。

3.4 算法

学习问题现在已经完全明确，我们准备考察算法。

正则化最小二乘回归　在正则化最小二乘回归中，我们的目标是学习一个函数 $f : X \to \mathbb{R}$，使经验风险在损失函数 $L(f(x), y) = (f(x) - y)^2$ 下最小。换言之，学习问题是：

\[\operatorname*{arg\,min}_{f \in H} \; \frac{1}{N} \sum_{i=1}^{N} \big(f(x_i) - y_i\big)^2 + \lambda \|f\|_K^2 \]

其中 $(x_i, y_i) \in X \times \mathbb{R}$ 是我们的（训练）数据。

由表示定理，这个学习问题的解 $f$ 可以写成：

\[f(x) = \sum_{i=1}^{N} \alpha_i K(x_i, x) \]

我们现在求解参数 $\alpha = (\alpha_1, \dots, \alpha_N)$。

为记号简便，我们记 $x = (x_1, \dots, x_N)$，$y = (y_1, \dots, y_N)$。记 $K$ 为数据上的 $N \times N$ 核矩阵，也称为格拉姆矩阵（Gram matrix）：$K = (K_{ij}) = (K(x_i, x_j))$。用这个记号，我们有

\[\big(f(x_1), \dots, f(x_N)\big) = K\alpha \qquad \text{与} \qquad \|f\|_K^2 = \alpha^T K \alpha \]

所以我们的目标可以写成

\[\operatorname*{arg\,min}_{f \in H} \; \frac{1}{N} (K\alpha - y)^T (K\alpha - y) + \lambda \alpha^T K \alpha \tag{3.2} \]

为优化它，我们对 $\alpha$ 求导、令结果等于 0 并求解：

\[0 = \frac{2}{N} K(K\alpha^* - y) + 2\lambda K\alpha^* = \frac{2}{N} K\big((K + \lambda N I)\alpha^* - y\big) \tag{3.3} \]

由于 $K$ 是半正定的，$(K + \lambda N I)$ 可逆，并且

\[\alpha^* = (K + \lambda N I)^{-1} y \]

是一个解。因此

\[f(x) = \sum_{i=1}^{N} \alpha_i K(x_i, x) \]

其中 $\alpha = (K + \lambda N I)^{-1} y$ 是学习问题的极小元。

如果 $X = \mathbb{R}^d$ 并配备标准内积，格拉姆矩阵就是 $K = XX^T$，其中 $X$ 是数据的 $N \times d$ 矩阵。于是 $\alpha^*$ 变为

\[\alpha^* = (XX^T + \lambda N I)^{-1} y \]

并且学习问题的极小元可以写成

\[X^T (XX^T + \lambda N I)^{-1} y \tag{3.4} \]

一个 Woodbury 矩阵恒等式断言：对任意尺寸合适的矩阵 $U, V$，有 $(I + UV)^{-1} = I - U(I + VU)^{-1} V$。于是上面的表达式可以写成

\[(X^T X + \lambda N I)^{-1} X^T y \tag{3.5} \]

这正是最小二乘线性回归的熟悉解。

比较方程 3.4 与 3.5，我们看到前者涉及求 $N \times N$ 矩阵的逆，而后者涉及求 $d \times d$ 矩阵的逆。因此，如果 $d > N$，即使对于线性核，使用 3.4 也可能更有利。

关于唯一性的一点说明　上面的过程表明 $\alpha^* = (K + \lambda N I)^{-1} y$ 是方程 3.2 的一个解，但没有表明它是唯一的。事实上，如果 $K$ 的秩小于 $N$，可能存在多个最优的 $\alpha \in \mathbb{R}^d$。然而，由这些 $\alpha$ 构造出的函数 $f \in H$ 将是相同的。为看清这一点，注意方程 3.3 表明，对任何最优的 $\alpha$，有 $\alpha = (K + \lambda N I)^{-1} y + \delta$，其中 $K\delta = 0$。因此对任意两个最优的 $\alpha, \alpha'$，我们有

\[\|f - f'\|_K^2 = (\alpha - \alpha')^T K (\alpha - \alpha') = 0 \]

所以 $f = f'$。

正则化逻辑回归　正则化逻辑回归是一个二分类问题，它对应于逻辑损失函数

\[\log\big(1 + e^{-y_i f(x_i)}\big) \]

其中二值标签 $y$ 表示为 $\{-1, 1\}$。我们的目标于是为

\[\operatorname*{arg\,min}_{f \in H} \; \frac{1}{N} \sum_{i=1}^{N} \log\big(1 + e^{-y_i f(x_i)}\big) + \lambda \|f\|_K^2 \]

我们的解具有表示定理给出的形式，所以我们需要求解

\[\operatorname*{arg\,min}_{\alpha \in \mathbb{R}^N} \; \frac{1}{N} \sum_{i=1}^{N} \log\big(1 + e^{-y_i (K\alpha)_i}\big) + \lambda \alpha^T K \alpha \]

以求出 $\alpha$。遗憾的是，与最小二乘回归不同，这个方程没有闭式解。幸运的是，它是凸的、可微的，并且非常适合基于梯度的优化技术（例如梯度下降）。这些优化方法不是本论文的重点，所以我们不再深入讨论，但我们注意到它们在计算上是高效的，并且在实践中被广泛使用。

正则化支持向量机　正则化支持向量分类也是一个二分类问题，它对应于合页损失函数

\[L_{\mathrm{sup}}(f(x), y) = \max(0, 1 - y f(x)) = (1 - y f(x))_+ \]

其中 $y_i \in \{-1, 1\}$。与往常一样，我们的目标是

\[\operatorname*{arg\,min}_{f \in H} \; \frac{1}{N} \sum_{i=1}^{N} \max\big(0, 1 - y_i f(x_i)\big) + \lambda \|f\|_K^2 \]

我们的解具有表示定理给出的形式。与逻辑回归一样，我们通过计算方法求解

\[\operatorname*{arg\,min}_{\alpha \in \mathbb{R}^N} \; \frac{1}{N} \sum_{i=1}^{N} \max\big(0, 1 - y_i (K\alpha)_i\big) + \lambda \alpha^T K \alpha \]

以求出 $\alpha$。这里唯一需要注意的是，我们需要使用"基于次梯度"的优化技术而不是基于梯度的技术，因为合页损失的梯度在 0 处无定义。

核技巧　假设我们有一个算法 $A$，其中数据 $x_i$ 只以 $\langle x_i, \cdot \rangle$ 的形式被使用。在这种情况下，我们可以通过把它的内积替换为核 $K$ 来"核化"（kernelize）该算法。这个过程被称为核技巧（kernel trick），它实际上使我们能够只用有限的计算资源（即只计算核函数 $K$）就在无限维特征空间中工作。

3.4.1 构造核

在实践中，应用核方法意味着为具体的数据和任务构造合适的核。通过使用任务特定的核，可以把一个人的领域知识或归纳偏置编码进学习算法。为给定任务自动选择或构造核的问题，是一个被称为自动核选择（automatic kernel selection）的活跃研究领域。

虽然为特定任务构造核超出了本论文的范围，但我们在下面给出核构造的一些积木。利用这些积木，可以从简单的核构造出复杂的核。

性质　设 $K, K'$ 是 $X$ 上的核，$f$ 是 $X$ 上的函数。那么以下全都是核：

$K(x, x') + K'(x, x')$
$K(x, x') \cdot K'(x, x')$
$f(x) K(x, x') f(x')$
$K(f(x), f(x'))$
$\exp(K(x, x'))$
$\dfrac{K(x, x')}{\sqrt{K(x, x)} \sqrt{K(x', x')}}$，称为 $K$ 的归一化版本

我们指出，所有这些性质都可以看作正函数的性质。

来自概率论的核　一些有趣的核来自概率论。对事件 $A, B$，以下都是核：

$K(A, B) = P(A \cap B)$ 是一个核。
$K(A, B) = P(A \cap B) - P(A)P(B)$ 是一个核。
$H(X) + H(X') - H(X, X')$，即互信息。

乍一看，互信息 $I(X, X')$ 看起来也像是一个核，但要证明或证伪这一点相当棘手。这个问题直到 2012 年才被 Jakobsen 解决 ^[23]，他证明了 $I(X, X')$ 是核当且仅当 $\dim(X) \le 3$。

机器学习中的常用核　一些常用核的例子见表 3.4.1，更多例子可参见此链接。

表 3.4.1：常用核函数的例子。

名称	核	应用领域
线性（Linear）	$x^T x'$	无处不在
多项式（Polynomial）	$(c + x^T x')^p$	无处不在
高斯（Gaussian）	$e^{-\frac{1}{2\sigma}\|x - y\|^2}$	无处不在
指数（Exponential）	$e^{-\sigma\|x - y\|}$	无处不在
双曲正切（Tanh）	$\tanh(\sigma x^T x' + b)$	神经网络
狄利克雷（Dirichlet）	$\dfrac{\sin\big((n + 1/2)(x - x')\big)}{2\pi \sin\big((x - x')/2\big)}$	傅里叶分析
泊松（Poisson）	$\dfrac{1 - \sigma^2}{\sigma^2 - 2\sigma \cos(x - x') + 1}$	二维拉普拉斯方程
Sinc	$\dfrac{\sin(\sigma (x - x'))}{x - x'}$	信号处理
有理二次（Rational Quadratic）	$\sigma^2 \Big(1 + \dfrac{(x - x')^2}{2\alpha \ell^2}\Big)^{-\alpha}$	高斯过程
指数-正弦平方（Exp-Sine-Squared）	$\sigma^2 \exp\Big(-\dfrac{2\sin^2(\pi \|x - x'\| / p)}{\ell^2}\Big)$	高斯过程
Matérn 核	$\sigma^2 \dfrac{2^{1 - \nu}}{\Gamma(\nu)} \Big(\dfrac{\sqrt{2\nu}\, \|x - x'\|}{\rho}\Big)^{\nu} K_\nu\Big(\dfrac{\sqrt{2\nu}\, \|x - x'\|}{\rho}\Big)$	高斯过程

第4章图与流形

现在，我们把注意力从再生核希尔伯特空间（RKHS）这一主题转向一个全新的主题：图与黎曼流形的几何。下一章——也是最后一章——将把这两个主题结合起来，处理图与流形上的正则化学习问题。

本章的目的是阐明图与流形之间的联系。乍一看，这两个数学对象似乎并不那么相似。我们通常从组合性质的角度来思考图，而从拓扑性质与几何性质的角度来思考流形。

然而，若再深入一些，就会发现这两个对象之间存在着深刻的联系。我们将看到这种联系体现在拉普拉斯算子（Laplacian operator）上——它作为图与流形上的自然算子而出现。拉普拉斯算子的同一套谱性质，使我们能够理解图的组合学与流形的几何学。

本章探讨这两种拉普拉斯算子如何编码各自对象的结构，以及它们彼此之间的关系。到本章结束时，我希望读者能够体会到：图是流形的离散版本，流形是图的连续版本。

4.1 光滑性与拉普拉斯算子

正如前两章所反复展现的，我们关心的是寻找光滑函数。在图上或流形上，函数光滑意味着什么？拉普拉斯算子掌握着我们答案的钥匙。

设 $G = (V, E)$ 是一个连通无向图，其中 $E$ 是边集，$V$ 是顶点集。图的边可以带权或不带权（权重非负）；除非另有说明，我们假定它不带权。在讨论加权图时，我们用 $w_{ij}$ 表示节点 $i$ 与 $j$ 之间边上的权重。

$G$ 上的实值函数是定义在图顶点上的映射 $f : V \to \mathbb{R}$。注意，这些函数与向量是同义的，因为它们长度有限。

直觉上，图上的函数如果在某个节点处的值与该节点每个邻居处的值相近，那么它是光滑的。用平方差来度量这一点，我们得到如下表达式：

\[\sum_{(i,j) \in E} \big(f(i) - f(j)\big)^2 \tag{4.1} \]

这个表达式是对称二次型，因此存在一个对称矩阵 $L$，使得

\[f^T L f = \sum_{(i,j) \in E} \big(f(i) - f(j)\big)^2 \]

其中 $f = (x(1), \dots, x(n))$，$n = |V|$。

我们称 $L$ 为图 $G$ 的拉普拉斯矩阵。我们可以把 $L$ 看作图上的一个泛函，它量化了函数的光滑性。

加权图的拉普拉斯矩阵类似地由如下二次型定义：

\[x^T L x = \sum_{(i,j) \in E} w_{ij} \big(x(i) - x(j)\big)^2 \]

记号　有些文献使用归一化拉普拉斯矩阵 $\mathcal{L}$ 而非标准拉普拉斯矩阵 $L$。归一化拉普拉斯矩阵由 $D^{-1/2} L D^{-1/2}$ 给出，其中 $D$ 是顶点度的对角矩阵（即 $D_{ii} = \deg(i)$）。

现在我们把注意力转向流形。设 $(M, g)$ 是一个 $n$ 维黎曼流形。作为复习，这意味着 $M$ 是一个光滑流形，而 $g$ 是一个光滑地把内积 $\langle \cdot, \cdot \rangle_{g(x)}$ 赋予每一点 $x \in M$ 处切空间 $T_x M$ 的映射。为记号简便，在不引起歧义时，我们将用 $M$ 代替 $(M, g)$，用 $g_x(\cdot, \cdot)$ 代替 $\langle \cdot, \cdot \rangle_{g(x)}$。

假设我们想要量化函数 $f : M \to \mathbb{R}$ 在点 $x \in M$ 处的光滑性。一个自然的做法是考察 $f$ 在 $x$ 处梯度的平方范数 $\|\nabla f\|^2$。这个量类似于图情形下节点值与其邻居值之间的平方差。非形式地说，若把 $\|\nabla f\|^2$ 写成 $f \nabla \cdot \nabla f$，它看起来像一个二次型。与图的情形一样，我们把这个二次型与一个算子 $\Delta$ 联系起来。

形式上，我们把 $\Delta$ 定义为梯度的负散度，写作 $\Delta = -\nabla \cdot \nabla$，即 $-\mathrm{div}\,\nabla$ 或 $-\nabla^2$。我们称 $\Delta$ 为流形 $M$ 上的拉普拉斯算子或拉普拉斯-贝尔特拉米算子。

记号　有些文献把 $\Delta$ 定义为 $\mathrm{div}\,\nabla$，不带负号。在这些文献中，拉普拉斯-贝尔特拉米算子是负半定的，其特征值方程写作 $\Delta f = -\lambda f$ 而非 $\Delta f = \lambda f$。这里，我们采用带负号的版本，这是出于简便以及与图文献保持一致——在图文献中，拉普拉斯算子是正半定的。

由于 $\|\nabla f(x)\|^2$ 刻画了函数 $f$ 在 $x$ 处的光滑性，把它在整个流形上积分，就给出了 $f$ 在 $M$ 上光滑性的一种度量：

\[\int_M \|\nabla f(x)\|^2 \, \mathrm{d}x \]

这个量（严格说是这个量的 $1/2$）称为狄利克雷能量，记作 $E[f]$。它的作用与图上方程 4.1 类似，并且在物理学中作为函数变化性的度量而普遍出现。事实上，拉普拉斯算子可以被视为狄利克雷能量的泛函导数。

4.1.1 更多定义与性质

熟悉图论或分析的读者可能已经注意到，上面给出的定义并不是引入图或流形上拉普拉斯算子最常见的方式。

通常，人们用邻接矩阵 $A$ 来定义图 $G$ 的拉普拉斯矩阵。^[29] 拉普拉斯矩阵由下式给出：

\[L = D - A \]

其中 $D_{ii} = \deg(i)$ 是节点度的对角矩阵。于是归一化拉普拉斯矩阵为：

\[\mathcal{L} = I - D^{-1/2} A D^{-1/2} \]

一个简单的计算表明，这个定义与我们最初的定义等价：

\[\begin{aligned} x^T (D - A) x &= x^T D x - x^T A x \\ &= \sum_{i=1}^{n} \deg(i) \, x_i^2 - 2 \sum_{(i,j) \in E} x_i x_j \\ &= \sum_{i=1}^{n} \sum_{(i,j) \in E} x_i^2 - 2 \sum_{(i,j) \in E} x_i x_j \\ &= \sum_{(i,j) \in E} \big(x_i^2 + x_j^2 - 2 x_i x_j\big) \\ &= \sum_{(i,j) \in E} (x_i - x_j)^2 \\ &= x^T L x \end{aligned} \]

拉普拉斯矩阵的一些基本性质，虽然从定义 $L = D - A$ 并不显然，但从二次型定义来看却是显然的。即 $L$ 是对称且正半定的，因为对任何 $x$，

\[x^T L x = \sum_{(i,j) \in E} (x_i - x_j)^2 \ge 0 \]

因此，$L$ 的所有特征值都非负。我们还可以看到，最小特征值为 0，对应的特征函数是（非零）常值函数。

转向流形，拉普拉斯算子 $\Delta$ 的引入方式通常也与上面不同。在多变量微积分的语境中，它常被定义为：

\[\Delta f = -\frac{\partial^2 f}{\partial x^2} - \frac{\partial^2 f}{\partial y^2} - \frac{\partial^2 f}{\partial z^2} \]

容易验证，在 $\mathbb{R}^N$ 中这等于 $\mathrm{div}\,\nabla f$。这个逐坐标的定义可以推广到具有度量张量 $g$ 的黎曼流形的局部坐标上：

\[\Delta = -\frac{1}{\sqrt{|\det g|}} \sum_{i,j=1}^{n} \frac{\partial}{\partial x_j} \left( g^{ij} \sqrt{|\det g|} \, \frac{\partial}{\partial x^i} \right) \tag{4.2} \]

然而，如果想要在流形上使用坐标，那么在规范局部坐标下工作要自然得多。为切换到这些坐标，我们使用指数映射 $\exp_p : T_p M (\,= \mathbb{R}^n) \to M$，它是点 $p \in M$ 的一个邻域与切空间 $T_p M$ 中 $0$ 的一个邻域之间的局部微分同胚。这个坐标映射给出 $p$ 的一个邻域与 $\mathbb{R}^N$ 之间的规范等同，称为测地法坐标（geodesic normal coordinates）。在测地法坐标中，$g_{ij} = \delta_{ij}$ 且 $\partial g_{ij} / \partial x_k = 0$，因此 $\Delta$ 的公式与欧氏空间中的公式相似。

最后，我们应当指出，定义拉普拉斯算子 $\Delta$ 的另一种方式是作为黑塞算子 $H$ 的迹：

\[\Delta = \mathrm{Tr}(H) \]

其中 $p$ 处的黑塞算子 $H$ 是 $\nabla_p(\mathrm{d}f)$，即 $f$ 的微分的梯度。注意，由于黑塞算子与坐标无关（即在等距同构下不变），这一关系表明拉普拉斯算子也与坐标无关。

4.1.2 例子

下面，我们给出黎曼流形与图及其拉普拉斯算子的几个例子。

例：$\mathbb{R}^n$　所有黎曼流形中最普通的是带有欧氏度量 $g = \langle \cdot, \cdot \rangle_{\mathbb{R}^n}$ 的 $\mathbb{R}^n$。用矩阵表示，$g$ 是 $n$ 维单位矩阵：$g_{ij} = \delta_{ij}$，$\det g = 1$。根据公式 4.2，我们有

\[\Delta_{g, \mathbb{R}^n} = -\sum_{i=1}^{n} \frac{\partial^2}{\partial x_i^2} \]

这是 $\mathbb{R}^n$ 中梯度散度的常见形式。

例：$S^1$　最简单的非平凡黎曼流形是圆 $S^1 \subset \mathbb{R}^2$，带有由 $\mathbb{R}^2$ 诱导的度量。我们可以把圆参数化为 $(\cos\theta, \sin\theta)$，所得度量 $g = \mathrm{d}\theta^2$（由 $\mathbb{R}^2$ 诱导：$\mathrm{d}x^2 + \mathrm{d}y^2 = \mathrm{d}r^2 + r^2 \mathrm{d}\theta^2 = \mathrm{d}\theta^2$）。用矩阵表示，$g$ 就是 1 维矩阵 $(1)$。因此，

\[\Delta_{g, S^1} = -\frac{\partial^2}{\partial \theta^2} \]

如上。对所有一维流形也有类似结果。

例：圈图　与上述光滑圆相似的一个简单图是圈图（cycle graph）。具有 $n$ 个顶点的圈图 $G$ 的拉普拉斯矩阵 $L$ 由下式给出：

\[\begin{aligned} L = D - A &= \begin{pmatrix} 2 & 0 & 0 & 0 \\ 0 & \ddots & 0 & 0 \\ 0 & 0 & 2 & 0 \\ 0 & 0 & 0 & 2 \end{pmatrix} - \begin{pmatrix} 0 & 1 & 0 & 1 \\ 1 & 0 & \cdots & 0 \\ 0 & \vdots & \ddots & 1 \\ 1 & 0 & 1 & 0 \end{pmatrix} \\[6pt] &= \begin{pmatrix} 2 & -1 & 0 & 0 & 0 & -1 \\ -1 & 2 & -1 & 0 & 0 & 0 \\ 0 & -1 & \ddots & \ddots & 0 & 0 \\ 0 & 0 & \ddots & \ddots & -1 & 0 \\ 0 & 0 & 0 & -1 & 2 & -1 \\ -1 & 0 & 0 & 0 & -1 & 2 \end{pmatrix} \end{aligned} \]

熟悉数值分析的读者可能会注意到，这个矩阵类似于（取负号的）二阶离散差分算子

\[\frac{\partial^2 u}{\partial x^2} \approx -\frac{-u_{i+1} + 2u_i - u_{i-1}}{\delta x} \]

这暗示了与上述流形之间的联系。正如我们稍后将看到的，圆与圈图的拉普拉斯谱密切相关。

例：$S^2$　考虑用球坐标参数化、带有由 $\mathbb{R}^3$ 诱导度量的二维球面：

\[T : [0, \pi) \times [0, 2\pi) \to S^2, \qquad T(\theta, \varphi) = (\sin\theta\cos\varphi, \sin\theta\sin\varphi, \cos\theta) \]

换成球坐标表明，度量由下式给出：

\[g = \mathrm{d}x^2 + \mathrm{d}y^2 + \mathrm{d}z^2 = (\mathrm{d}x^2 + \mathrm{d}y^2) + \mathrm{d}z^2 = \mathrm{d}\theta^2 + \sin^2\theta \, \mathrm{d}\varphi^2 \]

所以用矩阵表示，$g$ 为

\[g(\theta, \varphi) = \begin{pmatrix} 1 & 0 \\ 0 & \sin^2\theta \end{pmatrix} \]

其行列式 $\det g = \sin^2\theta$。于是由公式 4.2，拉普拉斯算子为

\[\Delta = -\frac{1}{\sqrt{\det g}} \left( \frac{\partial}{\partial \theta} \left( g^{\theta\theta} \sqrt{\det g} \, \frac{\partial}{\partial \theta} \right) + \frac{\partial}{\partial \varphi} \left( g^{\varphi\varphi} \sqrt{\det g} \, \frac{\partial}{\partial \varphi} \right) \right) = -\frac{1}{\sin\theta} \frac{\partial}{\partial \theta} \left( \sin\theta \frac{\partial}{\partial \theta} \right) - \frac{1}{\sin^2\theta} \frac{\partial^2}{\partial \varphi^2} \]

这个表达式使我们能够在球坐标下处理特征值方程 $\Delta f = \lambda f$——这是电动力学与热力学中的有用工具。

例：更多经典图　图 4.1.1 展示了圈图以及另外三个经典图——完全图（complete graph）、路径图（path graph）和星形图（star graph）——以及它们的拉普拉斯矩阵。

图 4.1.1　几个经典图及其拉普拉斯矩阵。

例：平坦环面　$n$ 维环面是亏格为一的紧致黎曼流形的经典例子，所谓亏格为一，即只有一个"洞"。

拓扑上，环面 $T$ 是球面的乘积 $S^1 \times \cdots \times S^1 = (S^1)^n$。等价地，环面可以与 $\mathbb{R}^n / \Gamma$ 等同，其中 $\Gamma$ 是 $\mathbb{R}^n$ 中的一个 $n$ 维格（$\mathbb{R}^n$ 的一个与 $\mathbb{Z}^n$ 同构的离散子群）。^[30] 也就是说，我们可以把环面与 $\mathbb{R}^2$ 中满足特定边界条件（即正方形相对的两条边相同）的（倾斜且拉伸的）正方形等同。我们称 $\Gamma = \mathbb{Z}^n$ 时的环面为标准环面（standard torus）。

图 4.1.2　一个有趣的示意图，展示环面如何由平面中带周期边界条件的正方形构造出来。

当赋予由 $S^1$ 而来的乘积度量（即 $S^1$ 上典范度量的 $n$ 次乘积）时，环面称为平坦环面（flat torus）。^[31] 由于拉普拉斯算子由度量局部定义，任何平坦曲面的拉普拉斯算子都与欧氏空间中的拉普拉斯算子相同，只是限制在曲面上良定义的函数上。

直觉上，平坦度量使环面局部看起来像 $\mathbb{R}^n$。除其他性质外，这意味着角与距离的行为符合我们在 $\mathbb{R}^n$ 中的预期；例如，平坦环面上三角形的内角之和等于 $\pi$。

例：嵌入 $\mathbb{R}^3$ 中的环面　平坦度量并不是能放在环面上的唯一度量。恰恰相反，我们自然而然地会想象环面嵌入 $\mathbb{R}^3$ 中，呈现熟悉的甜甜圈形状（图 4.1.2）。赋予由 $\mathbb{R}^3$ 诱导度量的环面是与平坦环面不同的黎曼流形。

嵌入 $\mathbb{R}^3$ 中的环面 $T$ 具有内半径（即管的半径）$r$ 与外半径（即从洞的中心到管中心的半径）$R > r$，可以参数化为

\[T : [0, 2\pi) \times [0, 2\pi) \to T^2, \qquad T(\theta, \varphi) = \big((R + r\cos\theta)\cos\varphi, \, (R + r\cos\theta)\sin\varphi, \, r\sin\theta\big) \]

由 $\mathbb{R}^3$ 继承的度量 $g$ 为

\[\begin{aligned} g &= \mathrm{d}x^2 + \mathrm{d}y^2 + \mathrm{d}z^2 \\ &= \mathrm{d}\big((R + r\cos\theta)\cos\varphi\big)^2 + \mathrm{d}\big((R + r\cos\theta)\sin\varphi\big)^2 + \mathrm{d}(r\sin\theta)^2 \\ &= \big(\mathrm{d}\varphi \sin\varphi (-(r\cos\theta + R)) - r\cos\varphi \, \mathrm{d}\theta \sin\theta\big)^2 \\ &\quad + \big(\mathrm{d}\varphi \cos\varphi (r\cos\theta + R) - r\sin\varphi \, \mathrm{d}\theta \sin\theta\big)^2 + r^2 \mathrm{d}\theta^2 \cos^2\theta \\ &= (R + r\cos\theta)^2 \mathrm{d}\varphi^2 + r^2 \mathrm{d}\theta^2 \end{aligned} \]

所以相应的矩阵 $(g_{ij})$ 为

\[g(\theta, \varphi) = \begin{pmatrix} r^2 & 0 \\ 0 & (R + r\cos\theta)^2 \end{pmatrix} \]

嵌入 $\mathbb{R}^3$ 中的环面的拉普拉斯算子为

\[\Delta f = -\frac{1}{\sqrt{|\det g|}} \sum_{i,j=1}^{n} \frac{\partial}{\partial x_j} \left( g^{ij} \sqrt{|\det g|} \, \frac{\partial f}{\partial x^i} \right) \tag{4.3} \]

\[= -r^{-2}(R + r\cos\theta)^{-1} \frac{\partial}{\partial \theta} \left( (R + r\cos\theta) \frac{\partial f}{\partial \theta} \right) - (R + r\cos\theta)^{-2} \frac{\partial^2 f}{\partial \varphi^2} \tag{4.4} \]

平坦环面上的距离与角的行为与 $\mathbb{R}^2$ 中类似，而嵌入环面上的距离与角则如同我们对 $\mathbb{R}^3$ 中甜甜圈形状的预期。例如，画在平坦环面上的三角形内角之和总是 $\pi$，但对嵌入 $\mathbb{R}^3$ 的环面则不成立。^[32]

更正式地说，嵌入环面与平坦环面微分同胚，但不等距同构：它们之间存在光滑且光滑可逆的映射，但不存在保持距离的这样的映射。事实上，并不存在平坦环面在 $\mathbb{R}^3$ 中保持其度量的光滑嵌入。^[33]

4.2 来自物理学的启示

如果我们介绍拉普拉斯算子却不讨论它与物理学的联系，那将是失职的。这些联系对流形上的拉普拉斯算子最为清晰，后者出现在许多偏微分方程中，包括无处不在的热传导方程。

例：流体流动（流形情形）　假设我们是研究流体在连续区域 $D$ 上运动的物理学家。我们把流体建模为向量场 $v$。实验上我们发现流体是不可压缩的，所以 $\mathrm{div}\,v = 0$；又是保守的，所以 $v = -\nabla u$，其中 $u$ 是某个函数（势函数）。于是势函数必须满足

\[\Delta u = 0 \]

这称为拉普拉斯方程（Laplace's equation），其解称为调和函数（harmonic functions）。

例：流体流动（图情形）　现在假设我们在建模流体在连接一组蓄水池的管道中的流动。这些蓄水池与管道构成图 $G$ 的节点与边，我们可以把每个蓄水池处的压力表示为顶点上的函数 $u$。物理上，通过一条管道流动的流体量与它两端顶点之间的压力差 $u_i - u_j$ 成正比。由于流入每个顶点的总流量等于流出它的总流量，顶点 $i$ 处的流量之和为 0：

\[0 = \sum_{j \in N(i)} (u_i - u_j) \tag{4.5} \]

展开这个式子：

\[0 = \sum_{j \in N(i)} u_i - \sum_{j \in N(i)} u_j = \deg(i) \, u_i - \sum_{j \in N(i)} u_j = \big((D - A)u\big)_i = (Lu)_i \]

我们发现 $Lu = 0$，这是拉普拉斯方程 $\Delta u = 0$ 的离散类比。等价地，方程 4.5 意味着每个顶点都是其邻居的平均：

\[u_i = \frac{1}{\deg(i)} \sum_{j \in N(i)} u_j \]

我们可以把这个结果从 1 跳邻居推广到 $k$ 跳邻居，只需注意到每个 1 跳邻居又是其自身邻居的平均，并使用归纳法。

虽然这个结果在离散情形下是显然的，但在连续情形下却远非显然。在连续情形下，相应的论断是：调和函数等于它在球上的平均。

定理 4.2.1（调和函数的中值性质）　设 $u \in C^2(\Omega)$ 是开集 $\Omega$ 上的调和函数。则对每个满足 $B_r(x) \subset \Omega$ 的球 $B_r(x)$，有

\[u(x) = \frac{1}{|B_r(x)|} \int_{B_r(x)} u(x) \, \mathrm{d}x = \frac{1}{|\partial B_r(x)|} \int_{\partial B_r(x)} u(x) \, \mathrm{d}x \]
其中 $\partial B_r$ 表示 $B_r$ 的边界。

如果只看到这个连续的结果，它可能显得有些引人注目，但在图的语境下，它就直观得多了。

对图而言，这些结果的逆命题也是显然的。如果图上的函数 $u$ 对任何 $k$ 都等于其 $k$ 跳邻居的平均，那么方程 4.5 中的和为零，于是 $Lu = 0$，$u$ 是调和的。对流形而言，同样地，如果 $u$ 等于以每一点 $x$ 为中心的所有球上的平均，那么 $u$ 是调和的。

例：引力　写成微分形式，引力的高斯定律表明：由质量密度为 $\rho$ 的物体产生的引力场 $g$ 满足

\[\nabla g = -4\pi G \rho \]

其中 $G$ 是常数。与上面的流体模型一样，引力场是保守的，所以 $g = -\nabla \varphi$，其中 $\varphi$ 是某个势函数。于是我们看到

\[\Delta \varphi = 4\pi G \rho \]

一般地，形如上式的偏微分方程

\[\Delta u = f \]

称为泊松方程（Poisson equation）。

注意，如果质量密度是狄拉克 $\delta$ 函数——即所有质量都集中于一点——那么这个表达式的解恰好是 $\varphi(r) = -Gm/r$，这就是牛顿万有引力定律。

例：弹簧　考虑一个图，其中每个节点对其邻居施加吸引力。例如，我们可以想象图的每个顶点是二维平面中的一个点，通过弹簧与其邻居相连。胡克定律表明，弹簧的势能为 $\frac{k}{2}x^2$，其中 $x \in \mathbb{R}^2$ 是弹簧从其静止位移被拉伸或压缩的量。在二维平面中，弹簧的长度是差 $\|x_i - x_j\|$，其中 $x_i = (x_i, y_i)$、$x_j = (x_j, y_j) \in \mathbb{R}^2$ 是两个节点的位置。

如果每个弹簧的静止位移为 0，则 $(i,j)$ 弹簧中的势能为 $\frac{k}{2}\|x_i - x_j\|^2$。我们系统的总势能是每个弹簧能量之和：

\[\sum_{(i,j) \in E} \frac{k}{2} \|x_i - x_j\|^2 \propto x^T L x + y^T L y \]

我们看到，寻找最小能量构型对应于最小化一个拉普拉斯二次型。如果我们是在 $\mathbb{R}^1$ 而不是 $\mathbb{R}^2$ 中工作，上面的表达式将与我们关于拉普拉斯二次型 $x^T L x$ 的传统概念完全一致。

调和函数　正如上面反复看到的，我们关心调和函数，即满足 $Lf = 0$ 的函数。然而，在有限图上，所有这样的函数都是常值函数！

我们可以从静止位移为 0 的弹簧物理系统看出这一点。直觉上，如果 $G$ 是连通的，弹簧会不断把顶点拉拢，直到它们全部落在同一点上，这对应于常值函数。或者，如果 $x^T L x = 0$，那么拉普拉斯二次型中的每一项 $(x(i) - x(j))^2$ 都必须是 0，所以 $x$ 在每个邻域上必须是常数。由于 $G$ 连通，$x(i)$ 对所有顶点 $i$ 都必须是常数。

然而，事情并没有那么糟。当我们对图的某些顶点施加额外条件时，就会涌现出有趣的函数。以弹簧网络为例，我们可以想象把一些顶点钉在二维平面中的特定位置上。如果我们让这个系统达到平衡，未被固定的顶点将稳定在钉住顶点凸包内的位置，如图 4.2.1 所示。

图 4.2.1　Tutte 定理的示意图。左图，我们通过把顶点放置在随机位置将图嵌入平面。右图，我们展示同一个图的嵌入：取它的一个面并把它钉住固定，让其余顶点以最小势能的方式稳定下来。

事实上，Tutte 的一个著名定理 ^[34] 表明：如果固定（平面）图中一个面的边，并让其余顶点稳定在使总势能最小的位置，那么所得的嵌入不会有相交的边。

定理 4.2.2（Tutte 定理）　设 $G = (V, E)$ 是一个 3-连通平面图，$F$ 是构成 $G$ 的一个面的顶点集。固定一个嵌入 $F \to \mathbb{R}^2$，使得 $F$ 的顶点构成一个严格凸多边形。则这个嵌入可以延拓为整个 $G$ 的嵌入 $V \to \mathbb{R}^2$，使得

$V \setminus F$ 中的每个顶点都位于其邻居的平均处；

没有边相交或自交。

上面的论断都有连续的类比。与有限图上的调和函数一样，无边界紧致流形（闭流形）上的调和函数是常数。

定理 4.2.3　若 $f$ 是紧致无边界区域 $D$ 上的调和函数，则 $f$ 是常数。

在带边界区域上，调和函数完全由其在边界上的值决定。

定理 4.2.4（调和函数的唯一性）　设 $f$ 与 $g$ 是带边界 $\partial D$ 的紧致区域 $D$ 上的调和函数。若在 $\partial D$ 上 $f = g$，则在 $D$ 上 $f = g$。

因此，如果调和函数在边界上为零，则它处处为零。这个结果通常以最大值原理的形式陈述。

定理 4.2.5（最大值原理）　若 $f$ 在有界区域上调和，则它的绝对最小值和绝对最大值都在边界上取得。

最大值原理对应于这样的思想：如果我们把图的一个面的顶点钉在平面上，其余节点将稳定在它们凸包的内部；如果每个点都是其邻居的平均，那么最大值必须在边界上取得。

例：更多流体　回到连续流体，假设我们想要理解流体如何随时间演化。例如，我们可能关心热在区域 $D$ 上的扩散。这个过程由无处不在的热传导方程支配：

\[\partial_t u(x, t) = \Delta u(x, t) \]

求解这个方程的一种常见方法是猜测形如 $u(x, t) = \alpha(t)\varphi(x)$ 的解，然后用分离变量法继续求解。这给出：

\[\frac{\Delta\varphi(x)}{\varphi(x)} = -\frac{\alpha'(t)}{\alpha(t)} \]

这蕴涵对某个 $\lambda \in \mathbb{R}$ 有

\[\alpha' = -\lambda\alpha, \qquad \Delta\varphi = \lambda\varphi \]

左边的方程给出 $\alpha(t) = Ce^{-\lambda t}$，右边的方程表明 $\lambda$ 是 $\Delta$ 的一个特征值。第二个方程称为亥姆霍兹方程（Helmholtz equation），它表明拉普拉斯算子的特征值使我们能够理解它所支配的过程。还要注意，拉普拉斯方程是亥姆霍兹方程在 $\lambda = 0$ 时的特例。

我们将在 4.5 节更详细地讨论（流形与图上的）热传导方程。在此之前，我们需要理解拉普拉斯算子的特征值与特征向量。

4.3 拉普拉斯谱

我们理解拉普拉斯算子的主要方法，是借助它的特征值，即它的谱。

我们用 $\lambda$ 表示拉普拉斯算子 $L$ 与 $\Delta$ 的特征值，满足 $\lambda_1 \le \lambda_2 \le \cdots$。我们对两个算子使用相同的符号，但会始终明确我们指的是哪个算子的特征值。在图的情形中，这些特征值是有限的（$L$ 有 $n$ 个计入重数的特征值），而在流形的情形中，它们是无限的。

我们已经看到，$L$ 与 $\Delta$ 是自伴的正定算子，所以它们的特征值是非负的。由谱定理，特征函数是规范正交的，并构成其定义域上 $L^2$ 函数的希尔伯特空间的一组基。对于流形 $M \subset \mathbb{R}^n$，特征函数构成 $L^2(M)$ 的一组基；对于图 $G = (V, E)$，它们构成 $L^2(V)$ 的一组基（即 $\mathbb{R}^n$ 中的有界向量）。

我们还已经看到，常值函数 $1$ 是对应于特征值 $\lambda_1 = 0$ 的拉普拉斯算子特征函数。

记号　遗憾的是，图论学者与几何学者对特征值使用不同的约定。图论学者把特征值编号为 $\lambda_1, \lambda_2, \dots$，其中 $\lambda_1 = 0$，并证明关于拉普拉斯算子"第二特征值"的定理。几何学者把特征值编号为 $0, \lambda_1, \dots$，并证明关于拉普拉斯算子"第一特征值"的定理。本书通篇使用谱图理论中的约定。

你能听出鼓的形状吗？Mark Kac 于 1966 年在《美国数学月刊》（American Mathematical Monthly）上发表的一篇著名文章提出了这个问题："你能听出鼓的形状吗？"^[35] 鼓面发出的声音对应于它们的频率，而这些频率又由鼓（一个紧致平面区域）上拉普拉斯算子的特征值决定。如果鼓的形状已知，求其频率的问题就是解上面的 Helmholtz 方程。Kac 提出了反问题：如果拉普拉斯算子的特征值已知，是否总能重构出底层面面的形状？形式化地说，如果 $D$ 是平面上的带边界紧致流形，方程 $\Delta u + \lambda u = 0$ 在边界条件 $u|_{\partial D} = 0$ 下的解是否唯一确定 $D$？

这个问题直到 1990 年代初仍未解决，当时 Gordon、Webb 与 Wolpert 给出了否定的回答 ^[36]。他们给出的简单反例如图 4.3.1 所示。

图 4.3.1　左侧的两个区域具有相同的拉普拉斯谱，但并不同构。右侧的两个图也是如此。

尽管如此，证明这一事实的难度恰恰说明了特征值蕴含着关于拉普拉斯算子的多少信息。事实上，Kac 证明了区域上 $\Delta$ 的特征值编码了许多几何性质，包括该区域的面积、周长与亏格。

类似地，我们也不可能仅从图的拉普拉斯矩阵的特征值重构出图的结构（图 4.3.1）。^[37]

4.3.1 拉普拉斯谱示例

下面，我们给出 4.1.2 小节中若干流形与图的特征值与特征函数的例子。

例：$C^n$ 与 $\mathbb{R}^n$　在 $C^n$ 中，标准拉普拉斯算子 $\Delta = -\sum_{i=1}^{n} \frac{\partial^2}{\partial x_i^2}$ 的特征值方程 $\Delta f = \lambda f$ 由复指数函数满足。换言之，$\Delta$ 的特征函数是函数 $x \mapsto e^{i\sqrt{\lambda} x_i}$，其中 $\lambda \ge 0$ 任意，$\lambda = 0$ 照例对应于常值函数。

在 $\mathbb{R}^n$ 中，复指数函数的实部与虚部都满足 $-\sum_{i=1}^{n} \frac{\partial^2}{\partial x_i^2} f = \lambda f$。它们是形如 $\sin(\sqrt{\lambda} x_i)$ 与 $\cos(\sqrt{\lambda} x_i)$ 的正弦与余弦函数，并且如上所述，连续区域 $[0, \infty)$ 中的每个实数 $\lambda$ 都是一个特征值。

例：$S^1$　圆 $S^1$ 继承 $\mathbb{R}^2$ 的度量，在局部看起来像 $\mathbb{R}^1$，但在全局是周期的。其拉普拉斯算子的谱是 $S^1$ 上求解

\[-\frac{\partial^2}{\partial \theta^2} f = \lambda f \tag{4.6} \]

的函数，也就是说，它们是该方程在 $\mathbb{R}^1$ 中同时以 $2\pi$ 为周期的解。这些解具有形式

\[f(\theta) = e^{ik\theta} \]

其中 $k \in \mathbb{Z}$。该表达式的实部与虚部给出完整的特征函数集合

\[f(\theta) = 1, \quad f(\theta) = \sin(k\theta), \quad f(\theta) = \cos(k\theta), \quad k \in \{1, 2, \dots\} \]

相应的特征值为 $0, k^2, k^2$（$k \in \{1, 2, \dots\}$）。

从另一个角度看，$S^1$ 在局部与 $\mathbb{R}^1$ 相同，所以任意波长的正弦/余弦波在局部都满足方程 4.6，但为了在全局良定义，其波长必须是 $2\pi$ 的倍数。

因此，$\Delta$ 在 $\mathbb{R}^1$ 中的谱是连续的，而 $\Delta$ 在 $S^1$ 中的谱是离散的。与这一直觉一致，可以证明所有闭流形都有离散谱，而非紧致流形可能有连续谱。

此外，考虑一个半径为 $r$（非单位）的圆。由极坐标可以看出，黎曼度量为 $g = r\,d\theta$，拉普拉斯算子变为

\[\Delta f = -\frac{1}{r} \frac{\partial}{\partial r}\left( r \frac{\partial f}{\partial r} \right) - \frac{1}{r^2} \frac{\partial^2 f}{\partial \theta^2} \]

其特征值为 $0, k^2, k^2$（$k \in \{1, 2, \dots\}$）。当我们增大圆的半径时，可以看到谱在 $\mathbb{R}$ 中变得更稠密；当半径趋于无穷时，我们填满整个区域 $[0, \infty)$，即 $\mathbb{R}^1$ 的谱。

例：循环图　如上所述，循环图的拉普拉斯矩阵由下式给出

\[L = \begin{pmatrix} 2 & -1 & 0 & 0 & 0 & -1 \\ -1 & 2 & -1 & 0 & 0 & 0 \\ 0 & -1 & \ddots & \ddots & 0 & 0 \\ 0 & 0 & \ddots & \ddots & -1 & 0 \\ 0 & 0 & 0 & -1 & 2 & -1 \\ -1 & 0 & 0 & 0 & -1 & 2 \end{pmatrix} \]

在图 4.3.2 中，我们对 $n = 30$ 与 100 个顶点的情形数值计算了它的特征函数，并绘制了前六个特征函数。把它们与圆的特征函数图像相比较，我们看到循环图的（缩放的）特征函数趋近于圆的特征函数！

这样看来，循环图就是圆的离散版本。

图 4.3.2　比较圆与 n = 30, 100 的循环图的前六个特征函数的示意图。

例：平坦环面　我们此前看到，在平坦度量下，$n$ 维环面看起来像 $\mathbb{R}^n$ 中一个带周期边界条件的、经线性变换后的正方形。形式化地说，$T^n = \mathbb{R}^n / \Gamma$，其中 $\Gamma$ 是由 $\mathbb{R}^n$ 的一组基 $\{e_1, \dots, e_n\}$ 生成的 $n$ 维格。

为计算其特征值，设 $\Gamma^*$ 为对偶格，定义为 $\{x \in \mathbb{R}^n : \langle x, y \rangle \in \mathbb{Z} \; \forall y \in \Gamma\}$。与上面其他平坦流形（$\mathbb{R}^n$ 与 $S^1$）一样，特征值方程 $\Delta f = \lambda f$ 的解满足 $\sum_{i=1}^{n} \frac{\partial^2}{\partial x_i^2} f(x) = \lambda f$，所以它们是复指数函数：

\[x \mapsto e^{2\pi i \langle x, y \rangle} \quad \text{对所有 } y \in \Gamma \]

实部与虚部给出特征函数 $1$、$x \mapsto \sin(2\pi \langle x, y \rangle)$、$x \mapsto \cos(2\pi \langle x, y \rangle)$（$y \in \Gamma^*$），它们构成 $L^2(T^n)$ 的一组基。相应的特征值是 $0, 4\pi^2|y|^2, 4\pi^2|y|^2$，与圆 $S^1$ 上的情形类似。

例：嵌入环面　我们在方程 4.4 中计算了具有 $\mathbb{R}^3$ 诱导度量（而非平坦度量）的 2-环面的拉普拉斯算子。其特征值方程于是为

\[\Delta f = -r^{-2}(R + r\cos\theta)^{-1} \frac{\partial}{\partial \theta}\left( (R + r\cos\theta) \frac{\partial f}{\partial \theta} \right) - (R + r\cos\theta)^{-2} \frac{\partial^2 f}{\partial \varphi^2} = \lambda f \]

由于该方程是可分离的，我们考虑形如 $\psi(\theta, \varphi) = a(\theta) e^{ik\varphi}$（$k \in \{1, 2, \dots\}$）的解。化简后得到

\[-\frac{1}{r^2} a''(\theta) + \frac{\sin\theta}{r + R\cos\theta} a'(\theta) + \frac{k^2}{(r + R\cos\theta)^2} a(\theta) = \lambda a(\theta) \]

这是一个关于 $a$ 的、带周期边界条件的常微分方程，对给定的 $r$ 与 $R$ 值可解。注意，每个非常值特征值的重数至少为 2，对应于 $e^{ik\varphi}$ 的实部与虚部，这与平坦环面和圆的情形相同。

例：更基本的图　回顾图 4.1.1 中 $n$ 个顶点上的全连接图与星形图的拉普拉斯矩阵。完全图的特征值，除 $\lambda_1 = 0$ 外，是重数为 $n - 1$ 的 $n$。正如我们很快将要看到的，图的特征值告诉我们关于其连通性的信息，而全连接图具有最大的特征值。

星形图的特征值为 $\lambda_1 = 0$、$\lambda_n = n$，以及 $1 < i < n$ 时的 $\lambda_i = 1$。注意，第二个特征向量 $\lambda_2$ 很小。该图是连通的，但"接近"于不连通：如果中间的顶点被移除，它就完全不连通了。

星形图是完全二部图的一个实例：其顶点可以分为两个子集，使得每个顶点（只）连接到另一个子集的顶点。一般地，设 $K_{m,n}$ 表示子集大小分别为 $m$ 与 $n$ 的完全二部图，则拉普拉斯矩阵 $L_{K_{m,n}}$ 的特征值为 $0, n, m, n + m$，重数分别为 $1, m - 1, n - 1, 1$。

这一结果是下面这个关键引理的推论。

引理 4.3.1　设 $G$ 是一个简单图。设 $\overline{G}$ 是 $G$ 的补图，即与 $G$ 有相同顶点、且每条边在 $\overline{G}$ 中当且仅当它不在 $G$ 中的图。记 $G$ 的拉普拉斯矩阵 $L_G$ 的特征值为 $0 = \lambda_1 \le \cdots \le \lambda_n$。则 $\overline{G}$ 的拉普拉斯矩阵 $L_{\overline{G}}$ 的特征值为

\[0, \; n - \lambda_n, \; n - \lambda_{n-1}, \; \dots, \; n - \lambda_2 \]

证明　设 $v_1, \dots, v_n$ 是 $L_G$ 对应于 $\lambda_1, \dots, \lambda_n$ 的规范正交特征向量。$G$ 与 $\overline{G}$ 的拉普拉斯矩阵之和为

\[L_G + L_{\overline{G}} = D_G - A_G + D_{\overline{G}} - A_{\overline{G}} = (D_G + D_{\overline{G}}) - (A_G + A_{\overline{G}}) = nI - J \]
其中 $J$ 是全 1 矩阵。现在考虑 $L_{\overline{G}} v_i$。如果 $v_i$ 是常值向量，则 $L_{\overline{G}} v_i = 0$。如果它不是常值向量，则它与常值向量正交，所以 $Jv_i = 0$，且

\[L_{\overline{G}} v_i = (nI - J - L_G) v_i = n v_i - 0 - \lambda_i v_i = (n - \lambda_i) v_i \]
因此 $L_{\overline{G}}$ 的特征值为 $0, n - \lambda_n, n - \lambda_{n-1}, \dots, n - \lambda_2$。此外，其特征向量集合与 $L_G$ 的相同。证毕

由此引理可以很快推出完全图与 $K_{m,n}$ 的特征值。完全图是空图的补图，空图的特征值为 $0^{(n)}$，所以完全图的特征值为 $0, n^{(n-1)}$。$K_{m,n}$ 是 $n$ 个与 $m$ 个顶点上的两个完全图之并的补图。容易证明，两个图的并的特征值是这两个图的特征值之并，所以该并的特征值为 $0^{(2)}, n^{(n-1)}, m^{(m-1)}$。于是由引理，$K_{m,n}$ 的特征值为 $0, n^{(m-1)}, m^{(n-1)}, n + m$。

此外，由于每个图的特征值都是非负的，引理表明 $n$ 是一个具有 $n$ 个顶点的图的特征值所能达到的最大值。这样看来，完全图具有最大的特征值。

4.3.2 关于边界的一点说明

在继续之前，我们花一点时间讨论带边界流形的概念，因为读者在黎曼几何文献中很可能已经遇到或将要遇到此类结构。我们强调，有限图类似于闭（即紧致且无边界）流形，而不是带边界的流形。本书中的许多结果对带边界的流形与非紧致流形成立，但我们不作任何保证。

对于带边界的流形，拉普拉斯算子的特征函数既依赖于底层面域，也依赖于施加在边界上的条件。例如，Kac 最初的"鼓的形状"问题指定了边界条件 $u|_{\partial D} = 0$。这个条件是两种被研究得最广泛的边界条件——Dirichlet 边界条件与 Neumann 边界条件——中的第一种。^[38]

Dirichlet 边界条件要求函数在边界上为零：

\[\Delta u = \lambda u \quad \text{在 } D \text{ 上}, \qquad u|_{\partial D} = 0 \]

Neumann 边界条件要求函数的导数在边界上为零：

\[\Delta u = \lambda u \quad \text{在 } D \text{ 上}, \qquad \frac{\partial u}{\partial \nu}\bigg|_{\partial D} = 0 \]

其中 $\nu$ 是 $\partial D$ 的单位外法向量。

以热流为例，Dirichlet 边界条件对应于一个封闭系统，不允许热量进入或离开系统；而 Neumann 边界条件对应于一个在边界每个点上有恒定热流的系统。

这两种边界条件只有在无限图的设定下才有图上的对应物。在有限图上，固定一组顶点的值就唯一确定 $\Delta f = \lambda f$ 的一个解。无限图上 Dirichlet 与 Neumann 边值问题的类比是一个活跃的研究领域 ^[39]、^[40]。

4.3.3 特征值的 Rayleigh 刻画

刻画一个算子的特征值有许多方法。其中一个特别有用的刻画是 Rayleigh 商，它使我们能够把特征值表示为优化问题的解。

我们从图的设定开始。设 $A$ 是一个特征值为 $\lambda_1 \le \cdots \le \lambda_n$ 的自伴矩阵。向量 $x$ 的 Rayleigh 商是表达式

\[R(x) = \frac{x^T A x}{x^T x} \]

其中分母起归一化因子的作用。Courant-Fischer 定理断言，$\lambda_1$ 在所有非零 $x$ 上最小化这个表达式，$\lambda_2$ 在所有与第一个特征向量正交的 $x$ 上最小化它，$\lambda_3$ 在所有与前两个特征向量正交的 $x$ 上最小化它，依此类推。

定理 4.3.1（Courant-Fischer）　自伴矩阵 $A$ 的第 $k$ 小特征值 $\lambda_k$ 由下式给出

\[\lambda_k = \min_{\substack{S \subset \mathbb{R}^n \\ \dim(S) = k}} \; \max_{\substack{x \in S \\ x \neq 0}} \frac{x^T A x}{x^T x} \tag{4.7} \]
其中 $S$ 是 $\mathbb{R}^n$ 的子空间。

Courant-Fischer 定理的证明是著名的谱定理的一个应用（细节参见 ^[41] 第 2 章）。

对于图 $G$ 的拉普拉斯矩阵 $L$，第一个特征值 $\lambda_1 = 0$ 对应于常值向量 $1$。于是我们立即得到所谓的 $\lambda_2$ 的 Rayleigh 刻画。

推论 2　$L$ 的第一个非零特征值 $\lambda_2$ 由下式给出

\[\lambda_2 = \min_{\|x\|_2 = 1, \, x \perp 1} x^T L x \]

在这一点上应该不足为奇，Rayleigh 商在流形上有对应的版本：

\[R(f) = \frac{\int_M |\nabla f|^2 \, dV}{\int_M f^2 \, dV} = \frac{\langle \nabla f, \nabla f \rangle}{\langle f, f \rangle} \]

其中 $dV$ 是流形上的体积形式。特征值由同样的优化问题给出：

\[\lambda_1 = 0, \qquad \lambda_2 = \min\left\{ R(f) : \int_M f \, dV = \langle f, 1 \rangle = \int_M f \, dV = 0 \right\} \]

第一个特征值是 0，对应于常值特征函数；下一个最大的特征值是 Rayleigh 商在所有与常值函数正交的函数上的极小值。^[42] $M$ 的后续特征值 $\lambda_3, \lambda_4, \dots$ 可以按照与图的情形类似的过程得到：

\[\lambda_k = \min\{R(f) : \langle f, f_i \rangle = 0 \; \forall i < k\} \]

其中 $f_i$ 表示对应于第 $i$ 个特征值 $\lambda_i$ 的特征函数。

4.4 特征值与连通性

拉普拉斯谱与连通性的概念密切相关。

4.4.1 前几个特征值

拉普拉斯算子第一个（零）特征值的重数给出其对应图或流形的连通分量数。

引理 4.4.1　图 $G$ 的连通分量数等于 $L$ 的 0 特征值的重数。

证明　首先，设 $f$ 是 $L$ 对应于 0 的特征函数。则 $f^T L f = \sum_{(i,j) \in E} (f(i) - f(j))^2 = 0$。为使这个和为 0，如果 $f$ 在某个顶点 $v$ 上非零，它就必须在与 $v$ 相连的每个顶点上取相同的值。于是 $f$ 在每个连通分量上必为常值，这意味着特征值 0 的重数至多为连通分量数。

其次，注意对于图的每个连通分量，该分量的指示函数都是一个特征函数，所以特征值 0 的重数至少为连通分量数。证毕

为简单起见，我们从此假定所讨论的图/流形都是连通的，因此 $\lambda_1$ 的重数为 1。

第二个特征向量 $\lambda_2$ 以一种与 $\lambda_1$ 不同的方式告诉我们图或流形的连通性。$\lambda_1$ 告诉我们图是否连通，而 $\lambda_2$ 则给我们一种图"有多连通"的感觉。非形式化地说，如果 $\lambda_2$ 小，那么图是弱连通的；如果 $\lambda_2$ 大，那么图是强连通的。我们上面已经看到过这一思想的一个例子：图是全连通的，当且仅当 $\lambda_2$ 尽可能大（$\lambda_2 = n$）。

图论学者称 $\lambda_2$ 为图的代数连通度（algebraic connectivity）。它有时也被称为 Fiedler 值，得名于捷克数学家 Miroslav Fiedler，他是最早给出 $\lambda_2$ 的界的人之一。

几何学者称 $\lambda_2$ 为流形的基音（fundamental tone）。这一名称源于如下事实：如果我们想象一个振动的流形，$\lambda_2$ 就是它的主振动频率。

4.4.2 特征值界

我们已经看到，通过考察图与流形的拉普拉斯算子特征值，可以理解它们的结构。但一般来说，要获得这些特征值的解析表达式是困难的。

相反，大部分工作致力于证明和收紧这些特征值的界。特征值的 Rayleigh 刻画很有用，因为它给了我们获得 $\lambda_2$ 上界的一个简单方法：对任意 $f$，Rayleigh 商 $\frac{\langle f, Lf \rangle}{\langle f, f \rangle}$ 都界住 $\lambda_2$。

此处，我们给出由图与流形的简单性质推出的特征值界。我们将逐步推进到 Cheeger 不等式的证明，这是 $\lambda_2$ 的一个界，最初在流形上被证明，近来在图论中得到了广泛使用。

定理 4.4.1　设 $G$ 是一个简单连通图。

$\lambda_n \le n$，当且仅当补图 $\overline{G}$ 不连通时取等号。

$\sum_{i=1}^{n} \lambda_i = \sum_{v \in V} d_v = 2|E|$

$\lambda_2 \le \frac{n}{n-1} \min_{v \in V} d_v$，且 $\lambda_n \ge \frac{n}{n-1} \max_{v \in V} d_v$

$\lambda_n \le \max_{i \in V} (d_i + m(i))$，其中 $m(i)$ 是与顶点 $i$ 相邻的顶点的平均度数。

证明　1. 由引理 4.3.1，$G$ 的特征值为 $0, \lambda_2, \dots, \lambda_n$，$\overline{G}$ 的特征值为 $0, n - \lambda_n, \dots, n - \lambda_2$。$\overline{G}$ 的特征值非负，所以 $\lambda_i \le n$。如上所示，当且仅当 $\overline{G}$ 不连通时，$0$ 在 $\overline{G}$ 中的重数大于 1，所以当且仅当 $\overline{G}$ 不连通时，$n$ 是 $G$ 的特征值。

一个算子的特征值之和等于它的迹，而 $L = D - A$ 的迹与 $D$ 的迹相同，后者即各顶点度数之和：$\sum_{v \in V} d_v$。

这一结果归功于 Fiedler ^[43]。证明见附录 A.1.2。

这一结果归功于 Merris ^[44]，建立在 Anderson 与 Morley ^[45] 的一个结果之上。证明见附录 A.1.2。证毕

观察拉普拉斯谱与图连通性之间联系的另一种方式，是考察它们在改变图时如何变化。特别地，如果向图添加一条边，特征值只会增大。

定理 4.4.2（加边增大特征值）　设 $G$ 是一个非完全图，$(i, j)$ 是一条不在 $E$ 中的边。记 $G'$ 为添加边 $(i, j)$ 后的图 $G$。则 $G'$ 的特征值与 $G$ 的特征值交错：

\[0 = \lambda_1(G) = \lambda_1(G') \le \lambda_2(G) \le \lambda_2(G') \le \lambda_3(G) \le \cdots \le \lambda_n(G) \le \lambda_n(G') \]

这个定理的证明收录在附录 A.1.3 中。^[46] 它与 Cauchy 交错定理和 Weyl 定理密切相关，后两者是 Courant-Fischer 定理的两个推论。它也给了我们另一种看出完全图具有最大特征值的方式。

这类交错结果是一个活跃的研究领域。上面的定理涵盖了加边的情形；关于加点、边细分与顶点收缩的类似结果可参见 ^[47]。

对流形而言，$\Delta$ 的特征值界通常比图的情形更难证明。Lichnerowicz 与 Obata 的一个著名结果用 Ricci 曲率界住 $\lambda_2$。我们不给出证明，只在此陈述，供更熟悉黎曼几何的读者参考。

定理 4.4.3（Lichnerowicz-Obata）　设 $M$ 是一个紧致 $n$ 维黎曼流形，其 Ricci 曲率满足正下界 $\mathrm{Ric}(M) \ge (n-1)K$。则

\[\lambda_2(M) \ge nK \]
当且仅当 $M$ 与球面 $S^n(1)$ 等距时取等号。

没有 Lichnerowicz-Obata 的曲率条件，闭流形的第二特征值就可能任意小。在下面的例子中，我们构造一个具有正尺寸且 $\lambda_2$ 任意小的哑铃形物体。

例：Cheeger 哑铃　考虑两个体积为 $V$ 的球体，由一个半径为 $\varepsilon$、长度为 $2L$ 的小圆柱连接。设 $f$ 是这样的函数：在第一个球体上取 1，在第二个球体上取 $-1$，在圆柱上线性递减。$f$ 的梯度的范数为 $1/L$，其余地方为 0。注意 $\int_M f \, dV = 0$。于是 $f$ 的 Rayleigh 商为

\[\frac{L^2 \int_M |\nabla f|^2 \, dV}{\int_M f^2 \, dV} = \frac{\mathrm{vol}(C)}{2V} \]

它随 $\varepsilon \to 0$ 趋于 0。这个量界住 $\lambda_2$ 的上方，所以在体积至少为 $2V$ 的流形上，$\lambda_2$ 可以被弄得任意小。

4.4.3 界与边界

拉普拉斯算子及其特征值与图的子集的边界密切相关。为表达这一联系，我们还需要几个定义。

设 $G$ 是一个图，$S \subset V$ 是 $G$ 的顶点的一个子集。我们把 $S$ 的边界的大小定义为 $S$ 中顶点与 $G \setminus S$ 中顶点之间的边数。

把顶点子集 $S \subset V$ 的电导（conductance）定义为其边界 $\partial S$ 的大小相对于该子集大小（或其补集大小，取两者中较小者）的比值：

\[h_G(S) = \frac{|\partial S|}{\min(|S|, |G \setminus S|)} \]

把图 $G$ 的电导——也称为 $G$ 的 Cheeger 常数——定义为任意子集的最小电导：

\[h(G) = \min_{S \subset V} h_G(S) \]

转到流形的情形，设 $M$ 是一个闭 $n$ 维流形。$n$ 维子流形 $S \subset M$ 的边界是 $(n-1)$ 维的。为记号简便，我们用 $\mathrm{vol}(\cdot)$ 表示 $n$ 维子流形的体积，用 $\mathrm{area}(\cdot)$ 表示 $(n-1)$ 维区域的体积。

考虑一个光滑的 $(n-1)$ 维子流形 $B \subset M$，它把 $M$ 分成两个不相交的子流形 $S$ 与 $T$。令

\[h_M(B) = \frac{\mathrm{area}(B)}{\min(\mathrm{vol}(S), \mathrm{vol}(T))} = \min_{S \subset M : 0 \le \mathrm{vol}(S) \le \frac{1}{2}\mathrm{vol}(M)} \frac{\mathrm{area}(\partial S)}{\min(\mathrm{vol}(S), \mathrm{vol}(M \setminus S))} \]

这与上面的 $h_G$ 类似。再令

\[h(M) = \min_{S \subset M} h_M(S) \]

其中最小值取遍上述形式的子流形 $S$。我们称 $h(M)$ 为 Cheeger 等周常数，或简称为 $M$ 的 Cheeger 常数。

Cheeger 不等式

Cheeger 不等式是一个著名的结果，它用 $\lambda_2$ 界住图或流形的电导。它以几何学者 Jeff Cheeger 的名字命名，他提出并证明了流形版本的结果。

定理 4.4.4（图的 Cheeger 不等式）　对于无权的 $d$-正则图，

\[h(G) \le \sqrt{2d\lambda_2} \]

定理 4.4.5（流形的 Cheeger 不等式）　对于闭流形 $M$，

\[h(M) \le \sqrt{2\lambda_2} \]

这两个定理最引人注目之处在于它们的证明何其相似——两个证明本质上是相同的！我已将它们收录在附录 A.1.4 中，改编自 Luca Trevisan 的一篇精彩博文 ^[48]。

测量边界

我们现在探讨拉普拉斯算子如何被用来测量边界的大小。

从图的情形开始，设 $1_S$ 是顶点子集 $S \subset V$ 的特征函数（即指示函数）：

\[1_S(v) = \begin{cases} 1 & v \in S \\ 0 & v \notin S \end{cases} \]

观察到边界的大小可以用下式测量

\[|\partial S| = \sum_{(i,j) \in E} |1_S(i) - 1_S(j)| \tag{4.8} \]

因为这个和只是在数 $S$ 与 $G \setminus S$ 之间的边。

转到流形的情形，设 $S \subset M$ 是一个 $n$ 维子流形，$1_S$ 是它的特征函数。与上面 4.8 类似的说法将是

\[|\partial S| = \int_M |\nabla 1_S| \, dV \tag{4.9} \]

但指示函数在 $\partial S \subset M$ 上不可微，所以这个表达式没有意义！

如果它有意义，我们会看到它与著名的余面积公式（coarea formula）一致。该公式断言，对 Lipschitz 函数 $u$ 与 $L^1$ 函数 $g$，

\[\int_M g(x)|\nabla u(x)| \, dx = \int_{\mathbb{R}} \left( \int_{u^{-1}(t)} g(x) \, d\mathcal{H}^{n-1}(x) \right) dt \tag{4.10} \]

把 $u = 1_S$ 与 $g = 1$ 天真地代入这个公式，就得到方程 4.9。当然，$1_S$ 不是 Lipschitz 的，所以这个代换并不合理。

事实证明，形式化地证明方程 4.9 是可能的，但这需要分布函数（distribution）这一工具。我们在下面关于指示函数的拉普拉斯算子一节中非形式化地讨论这是如何做到的。

指示函数的拉普拉斯算子

指示函数的拉普拉斯算子，写作 $\Delta 1_S$，是 Dirac delta 函数导数的推广。直观上，$\Delta 1_S$ 在 $S$ 的边界内侧取无穷大正值，在 $S$ 的边界外侧取无穷大负值，在 $S \setminus \partial S$ 上为零。形式化地说，它是一个分布（distribution），也就是说，它只在积分的被积函数中有定义，在那里它积分成一个（广义的）Dirac delta 函数。

对函数 $f : M \to \mathbb{R}$，对 $\Delta 1_S \, f(x)$ 积分得到：

\[\int_M \Delta 1_S \, f(x) \, dV = \int_M 1_S \, \Delta f(x) \, dV \]

\[= \int_S \Delta f(x) \, dV = \int_S -\mathrm{div}\,\nabla f(x) \, dV \]

\[= \int_{\partial S} (-n \cdot \nabla f)(x) \, dS \]

其中第一个等号来自拉普拉斯算子的性质，第二个等号来自散度定理。这最后一个积分称为曲面 delta 函数（surface delta function），因为它是 Dirac delta 函数的推广。出于这个原因，指示函数的拉普拉斯算子有时也被称为曲面 delta prime 函数（surface delta prime function）。

在实践中，Dirac delta 函数常被近似为光滑凸起函数（bump function）的极限。同样地，指示函数的拉普拉斯算子被近似为收敛到 $S$ 上指示函数的光滑阶跃函数的拉普拉斯算子的极限。

例：$S^1$ 上 $\Delta 1_D$ 的光滑逼近　由于最后两节相对抽象，此时给出一个具体的例子可能是有用的。

考虑流形 $S^1$，把它看作带周期边界条件与标准度量的单位区间 $[0, 1]$。假设我们想要计算一段长度占圆周五分之四的线段 $D$ 的边界大小 $|\partial D|$。也就是说，令 $D$ 为区域 $[0.1, 0.9]$，于是 $S^1 \setminus D = [0, 0.1) \cup (0.9, 1]$。图 4.4.1（上图）展示了我们区域的示意图。

我们将构造一族由参数 $t$ 索引的、逼近指示函数 $1_D$ 的光滑函数 $\psi_t$。我们利用 sigmoid 函数构造 $\psi_t$：

\[\sigma_t(x) = (1 + e^{-x \cdot t})^{-1} \]

它在 $t \to \infty$ 时收敛到 $1_{x \ge 0}$。加上 $\sigma_t$ 的两个副本，并关于直线 0.5 反射以保证周期性，我们有

\[\psi_t(x) = \sigma_t(5(1 - x) - 0.5) + \sigma_t(5x - 0.5) \]

不同 $t$ 值的 $\psi_t$ 图像见图 4.4.1（下图）。当 $t \to \infty$ 时，$\psi_t$ 变成 $1_D$。

为测量 $\partial D$，我们现在可以计算

\[\int_0^1 |\partial_x \psi_t(x)| \, dx \]

使用 Mathematica 对不同 $t$ 值进行数值积分的结果显示在图 4.4.1（下图）中。当 $t \to \infty$ 时，该量趋近于 2，这是正确的，因为 $|\partial D| = |\{0.1, 0.9\}| = 2$。

图 4.4.1　上方为圆的某一线段的指示函数示意图；下方为 t = 3, 10, 30 时指示函数的光滑逼近 ψₜ 的图像。随着 t 增大，|∂ₓψₜ(x)| 的积分趋近于 |∂D| = 2。

4.5 热核

我们以对热传导方程——研究拉普拉斯算子的经典动机——的简短讨论结束本章。热核是我们定理 5.4.1 中主要证明的关键工具。

我们先讨论流形版本的热传导方程，然后讨论图的版本。

4.5.1 流形

设 $M$ 是一个带测度 $\mu$ 的闭流形。定义热算子 $L : C^2(M) \times C^1((0, \infty))$：

\[L = \Delta + \partial_t \]

设 $F(x, t)$ 与 $f(x)$ 分别是 $M \times (0, \infty)$ 与 $M$ 上的函数。热传导方程是偏微分方程

\[Lu(x, t) = F(x, t) \]

\[u(x, 0) = f(x) \]

如果 $F(x, t) = 0$，我们就有齐次热传导方程

\[Lu(x, t) = 0 \]

\[u(x, 0) = f(x) \]

定理 4.5.1　齐次热传导方程的解是唯一的。证明见附录 A.1.5。

热传导方程的一个基本解（fundamental solution）是函数 $p : M \times M \times (0, \infty) \to \mathbb{R}$，它在 $M \times M$ 上是 $C^2$ 的、在 $(0, \infty)$ 上是 $C^1$ 的，并且满足

\[L_y p = 0, \qquad \lim_{t \to 0} p(\cdot, y, t) = \delta_y \]

其中 $\delta_y$ 是 Dirac delta 函数。基本解可以证明是唯一的，并且在 $x$ 与 $y$ 上是对称的。

对 $t > 0$，定义热传播子算子（heat propagator）$e^{-t\Delta} : L^2(M) \to L^2(M)$ 为

\[e^{-t\Delta} f(x) = \int_M p(x, y, t) f(y) \, d\mu(y) \]

热传播子可以被看作以 $f(x)$ 为初始条件的热传导方程的解。下面的定理陈述了它的一些性质；本质上，$e^{-t\Delta}$ 表现得就像它是一个简单的指数化函数。

定理 4.5.2　热传播子满足：

$e^{-t\Delta} \circ e^{-s\Delta} = e^{-(s+t)\Delta}$

$\left(e^{-\Delta}\right)^t = e^{-t\Delta}$

$e^{-t\Delta}$ 是一个正的自伴算子。

$e^{-t\Delta}$ 是紧算子。

定理 4.5.3　当 $t \to 0$ 时，$e^{-t\Delta} \to \mathrm{Id}_{L^2}$，即 $L^2(M)$ 中的恒等算子。

定理 4.5.4　当 $t \to \infty$ 时，$e^{-t\Delta}$ 在 $L^2$ 中一致收敛到一个常值函数（如果 $M$ 不是闭的，则收敛到一个调和函数）。

定理 4.5.5（Sturm-Liouville 分解）　记拉普拉斯算子 $\Delta$ 的特征值与特征函数分别为 $\lambda_1 \le \lambda_2 \le \cdots$ 与 $\varphi_1, \varphi_2, \dots$。则

\[p(x, y, t) = \sum_{i=0}^{\infty} e^{-\lambda_i t} \varphi_i(x) \varphi_i(y) \]
证明见附录 A.1.5。

4.5.2 图

在流形上发展了我们热算子工具箱之后，我们现在来看图上的热核。在下面，为记号简便，我们使用归一化拉普拉斯算子 $\mathcal{L} = D^{-1/2} L D^{-1/2}$ 而不是 $L$。

对于图 $G$，我们定义热核 $H_t$，使其匹配 $e^{-t\Delta}$ 的形式：

\[H_t = e^{-t\mathcal{L}} \]

与 Sturm-Liouville 分解类似，它也可以写成外积之和：

\[H_t = \varphi e^{-t\Lambda} \varphi^T = \sum_{i=1}^{|V|} e^{-t\lambda_i} \varphi_i \varphi_i^T \]

其中 $\lambda_i$ 与 $\varphi_i$ 是 $\mathcal{L}$ 的特征值与特征向量。

对接近 0 的 $t$，由 Taylor 级数展开有 $H_t \approx I - \mathcal{L}t$；热核只依赖于图的局部结构。在极限 $t \to 0$ 下，它收敛到恒等函数，正如流形上的定理 4.5.3。

理解图上热核的另一种方式是把它看作定义了一个连续时间随机游走。图 $G$ 上的标准（离散时间）随机游走由随机游走矩阵 $P$ 定义：

\[P_{ij} = \begin{cases} 1/d_i & (i, j) \in E \\ 0 & \text{否则} \end{cases} \]

$P$ 的元 $P_{ij}$ 可以被看作任意时间步从 $i$ 转移到 $j$ 的概率。对于 $t = 0$ 时顶点上的一个分布 $v$，$(P^t v)_i$ 可以被看作时间 $t$ 后位于顶点 $i$ 的概率。

由 Taylor 展开，热核 $H_t$ 可以写成

\[H_t = e^{-t\mathcal{L}} = e^{-t}\left( I + tP + \frac{(tP)^2}{2!} + \cdots \right) \]

\[= \sum_{k=0}^{\infty} \frac{t^k e^{-t}}{k!} P^k \]

这样，它就描述了一个等待时间服从 $\mathrm{Pois}(1)$ 分布的随机游走。

第5章流形正则化

本章介绍流形正则化（manifold regularization），这是一种将前四章所引入的思想统一起来的正则化技术。

5.0.1 背景

流形正则化由 ^[49] 于 2004 年提出，在 2000 年代中后期至 2010 年代早期受到了机器学习实践者与理论工作者的广泛关注。它首次被 ^[50] 建立在严格的理论基础之上：他们证明了在数据趋于无穷的极限下，数据图的拉普拉斯算子收敛到数据流形的拉普拉斯算子，从而为使用数据图拉普拉斯算子提供了正当性。本章的主要目标之一，就是利用热核的工具，对这一证明给出清晰的阐述。

过去十年间，围绕流形正则化的应用与理论涌现出大量工作。其应用包括网络图像标注、人脸识别、人体动作识别以及多任务学习 ^[51]。理论分析则考察了流形正则化中所用的离散近似（即图上的算子）在多大程度上与激发它们的连续对象（即流形上的算子）相吻合。

图 5.1.1　一个玩具例子，说明数据的形状如何改变我们对一个二分类问题的看法。三个子图依次为：(a) 仅有标签数据；(b) 有标签 + 无标签数据；(c) 有标签 + 无标签数据。

5.0.2 本章组织

本章的组织结构如下。首先，我们用一个玩具例子引出流形正则化，并给出其形式化定义。其次，我们陈述并证明由 ^[49:1] 给出的两个表示定理，它们刻画了流形正则化学习问题的解。第三，我们给出两个流形正则化学习算法的例子（拉普拉斯正则化最小二乘、拉普拉斯支持向量机）。第四，我们讨论图拉普拉斯算子的收敛性，它为流形正则化学习提供了理论根基。最后，我们概述该领域的最新研究进展，并讨论未来工作的潜在方向。

5.1 流形正则化

考虑图 5.1.1 所示的玩具例子。它由二维平面中的点构成，其中两个点带有标签（以红色和蓝色显示）。假设我们希望进行二分类，也就是说，把平面划分为对应于两个类别的两个区域。

如果我们只考虑有标签数据（2 个点），我们心目中"自然"的分类函数（图 a）是一条直线——它在外在空间（$\mathbb{R}^2$）中是一个光滑函数。然而，如果我们加入无标签数据（图 b 和图 c），我们心目中自然的分类函数就变为在内蕴空间（数据流形）中光滑的函数。数据的形状（b 与 c 之对比）决定了自然的分类函数。

更一般地，假设我们有一个学习问题，其中有 $N_L$ 个有标签样本和 $N_U$ 个无标签样本：$S = \{(x_i, y_i)\}_{i=1}^{N_L} \cup \{x_i\}_{i=N_L}^{N_L+N_U}$，其中 $x_i \in X$、$y_i \in Y$。我们假设数据 $x_i$ 独立地抽取自一个支撑在黎曼流形 $M$ 上的概率分布 $\rho_X$。

流形正则化在损失函数中添加一项，惩罚那些相对于数据流形 $M$ 的内蕴几何而言更为复杂的函数：

\[L(f, x, y) = L_{\mathrm{sup}}(y, f(x)) + \gamma_K \|f\|_K^2 + \gamma_I R_I(f) \tag{5.1} \]

其中 $\|f\|_K^2$ 是标准的（外在的）吉洪诺夫正则化项，$R_I(f)$ 是一个新的内蕴正则化项。这个内蕴项捕捉了这样一种直觉：我们的函数应当在流形上光滑，而不仅仅是在外在空间中光滑。

常数 $\gamma_K$ 与 $\gamma_I$ 分别决定外在正则化与内蕴正则化的强度。注意，外在项是与数据无关的（即它只依赖于 $f$），而内蕴项则通过数据流形依赖于数据 $(x)$。

正如上一章所贯穿展示的，我们可以用狄利克雷能量——即拉普拉斯算子二次型的积分——来度量函数 $f$ 在 $M$ 上的光滑性：

\[R_I(f) = \int_M \|f\|_I^2 \, d\rho_X \]

于是我们的目标是：

\[L(f, x, y) = L_{\mathrm{sup}}(y, f(x)) + \gamma_K \|f\|_K^2 + \gamma_I \int_M \|\nabla f(x)\|^2 \, d\rho_X(x) \tag{5.2} \]

显然，只给定有限数据时，我们无法精确计算内蕴项。流形正则化的关键思想，就是用图近似替换流形，从而近似这一项。

假设我们构造一个图 $G$，称为数据图（data graph），用来近似数据流形 $M$。例如，我们可以取 $G$ 为 $k$ 近邻图（见 5.3.1 小节），其中每个数据点 $x_i$ 都通过边与它最近的 $k$ 个邻居相连。

用 $G$ 的拉普拉斯矩阵 $L$ 代替 $M$ 的拉普拉斯算子 $\Delta_M$，内蕴项就变成可计算的：

\[R_I(f) = \frac{1}{(N_L+N_U)^2} f(x)^T L f(x) \approx \int_M f(x) \Delta_M f(x) \, d\rho_X(x) \tag{5.3} \]

其中 $f(x)$ 表示向量 $(f(x_1), \dots, f(x_n))$。或者，用求和记号表示，我们有：

\[R_I(f) = \frac{1}{(N_L+N_U)^2} \sum_{i=1}^{N} \sum_{r \in N(x_i)} w_{ir} \big(f(x_i) - f(x_r)\big)^2 \tag{5.4} \]

其中，若数据图是加权的，$w_{ij}$ 是边 $(i, j)$ 上的权重；若数据图是不加权的，则 $w_{ij} = 1$。

把 $R_I(f)$ 代回方程 5.1，就得到最终的损失函数

\[\frac{1}{N_L} \sum_{i=1}^{N_L} L_{\mathrm{sup}}(y_i, f(x_i)) + \gamma_K \|f\|_K^2 + \frac{\gamma_I}{(N_L+N_U)^2} f(x)^T L f(x) \tag{5.5} \]

其中 $L_{\mathrm{sup}}$ 是任意的监督损失函数。

总而言之，流形正则化框架包含三个步骤：

由数据构造一个图（见 5.3.1 小节）；
计算数据图的拉普拉斯矩阵 $L$：$L = D - W$；
优化正则化的目标函数：

\[\hat{f} = \operatorname*{arg\,min}_{f \in H_K} \; \frac{1}{N_L} \sum_{i=1}^{N_L} L_{\mathrm{sup}}(y_i, f(x_i)) + \gamma_K \|f\|_K^2 + \frac{\gamma_I}{(N_L+N_U)^2} f(x)^T L f(x) \]

5.2 表示定理

既然我们已经能够计算损失函数，剩下的任务就是优化它。幸运的是，与吉洪诺夫正则化的情形一样，我们可以刻画最优解 $f^*$ 的形式。

本节陈述并证明两个表示定理：一个针对方程 5.2 的流形情形，一个针对方程 5.5 的图情形。我们遵循 ^[49:2] 中给出的原始证明。

标准的表示定理（定理 3.3.1）把吉洪诺夫正则化损失函数的极小元表示为在数据点 $x$ 处取值的核函数的形式。下面的流形正则化推广由 ^[49:3] 给出。

定理 5.2.1（流形正则化表示定理）　假设内蕴范数 $\|\cdot\|_I$ 满足光滑性条件（方程 5.10），则方程 5.2 的极小元 $f^*$ 具有如下形式：

\[f^*(x) = \sum_{i=1}^{N_L} a_i K(x_i, x) + \int_M a(y) K(x, y) \, d\rho_X(y) \tag{5.6} \]

定理 5.2.2（图正则化表示定理）　方程 5.5 的极小元 $f^*$ 具有如下形式：

\[f^*(x) = \sum_{i=1}^{N_L+N_U} a_i K(x_i, x) \tag{5.7} \]

本节的其余部分致力于证明这两个定理，我们从流形情形开始。

证明思路　证明的结构如下。我们用一个正交性论证说明可以把 $f^*$ 写成两个量之和。第一个量对应方程 5.2 中的前两项，它将是数据点处核函数的加权和：

\[\sum_{i=1}^{N_L} a_i K(x_i, x) \]

第二个量对应方程 5.2 中的内蕴项，它将具有关于基向量 $e_i$ 的求和 $\sum_i a_i e_i$ 的形式，其中 $a_i$ 依赖于一个微分算子 $D$。一系列引理将表明：如果 $D$ 有界，那么这个和位于积分算子 $I_K$ 的张成之内，因而可以写成如下形式：

\[\int_M a(y) K(x, y) \, d\rho_X(y) \]

最后，我们将证明 $D$ 是有界的，从而完成证明。

首先，设 $H_K$ 是以 $K$ 为核的再生核希尔伯特空间（RKHS），$\rho$ 是支撑在紧致流形 $M \subset X$ 上的分布。考虑 $L^2_\rho$ 内积

\[\langle f, g \rangle_\rho = \int f(x) g(x) \, d\rho(x) \]

并记相应的积分算子为 $I_K$：

\[(I_K f)(x) = \langle f, k_x \rangle = \int f(y) K(x, y) \, d\rho(y) \]

如 3.2.2 节所述，$I_K$ 是紧的自伴算子。分别记其特征函数与特征值为 $e_1, e_2, \dots$ 与 $\lambda_1, \lambda_2, \dots$。$I_K$ 的下列性质很快就会派上用场。

引理 5.2.1　函数 $\sqrt{\lambda_i}\, e_i$ 构成 $H_K$ 的一组规范正交基。

推论 3　任何 $g \in H_K$ 都可以写成 $g = \sum_{i=1}^{\infty} b_i e_i$。

引理 5.2.2　函数 $f = \sum_{i=1}^{\infty} a_i e_i$ 位于 $I_K$ 的像中，当且仅当

\[\sum_{i=1}^{\infty} b_i^2 < \infty \tag{5.8} \]
其中 $b_i = a_i / \lambda_i$。

这两个引理的证明收录于附录 A.1.6。

接下来，考虑点 $x \in M$ 处的核所张成空间的闭包，记作 $S$：

\[S = \overline{\operatorname{span}\{k_x : x \in M\}} \]

注意，$S$ 配备由 $H_K$ 诱导的内积后是一个希尔伯特空间。

令 $H_{K_M}$ 与 $S_M$ 分别表示 $H_K$ 与 $S$ 在 $M$ 上的限制，二者都可以看作希尔伯特空间（配备诱导核 $K$）。

我们需要 $S$ 与 $S_M$ 的两条性质。

引理 5.2.3　$H_{K_M} = S_M$。

引理 5.2.4　$S$ 的正交补为 $S^\perp = \{f \in H_K : f(M) = 0\}$。

证明收录于附录 A.1.7。

现在我们回到学习问题

\[\operatorname*{arg\,min}_{f \in H_K} \; L_{\mathrm{sup}}(y, f(x)) + \gamma_K \|f\|_K^2 + \gamma_I \int_M \|\nabla f(x)\|^2 \, d\rho_X(x) \tag{5.9} \]

我们分三步进行：(1) 证明解 $f$ 存在；(2) 证明 $f \in S$；(3) 证明 $f$ 具有所要求的形式。

为记号简便，令 $H$ 表示我们在 5.9 中要最小化的损失：

\[H(f) = L_{\mathrm{sup}}(y, f(x)) + \gamma_K \|f\|_K^2 + \gamma_I \|f\|_I^2 \]

其中我们用 $\|f\|_I^2$ 代替 $\int_M \|\nabla f(x)\|^2 \, d\rho_X(x)$。

引理 5.2.5　方程 5.9 的极小元 $f^*$ 存在。

证明　考虑 $H_K$ 中半径为 $r$ 的球 $B_r$：$B_r = \{f \in S : \|f\|_K \le r\}$。由于这个球在 $L^\infty$ 中是紧的，方程 5.9 在此球中必存在极小元 $f_r^* \in B_r$。

零函数给出 $H(f_r^*)$ 的一个上界：

\[H(f_r^*) \le H(0) = \frac{1}{N_L} \sum_{i=1}^{N_L} L_{\mathrm{sup}}(x_i, y_i, 0) \]
如果零函数就是解，则证毕。否则，我们得到 $\|\cdot\|_K$ 项的一个界：

\[\|f\|_K^2 \le \frac{1}{\gamma_K} \Big( L_{\mathrm{sup}}(y, f(x)) + \gamma_I \|f\|_I^2 \Big) < \frac{1}{N_L \gamma_K} \sum_{i=1}^{N_L} L_{\mathrm{sup}}(x_i, y_i, 0) \]
如果我们不断增大球的半径 $r$，$H(f)$ 必有下界（因为右端是固定的）。具体而言，极小元不可能在半径为 $r = \sqrt{\frac{1}{N_L \gamma_K} \sum_{i=1}^{N_L} L_{\mathrm{sup}}(x_i, y_i, 0)}$ 的球之外取到。因此存在解 $f^*$。证毕

此外，如果损失函数 $V$ 是凸的，那么整个目标是凸的，且解唯一。

引理 5.2.6　如果内蕴范数 $\|\cdot\|_I$ 满足如下光滑性条件：

\[f|_M = g|_M \implies \|f\|_I = \|g\|_I \quad \forall f, g \in H_K \tag{5.10} \]
那么方程 5.9 的解 $f^*$ 位于 $S$ 中。

证明　设 $f \in H_K$。把 $f$ 分解为正交投影 $f = f_S + f_{S^\perp}$。由引理 5.2.4，$f_{S^\perp} = 0$ 在 $M$ 上成立。于是 $(f - f_S) = 0$ 在 $M$ 上成立，故对内蕴范数有：

\[\|f\|_I^2 = \|f_S\|_I^2 \]
对外在范数，我们有

\[\|f\|_K^2 = \|f_S\|_K^2 + \|f_{S^\perp}\|_K^2 \]
这蕴涵

\[\|f\|_K^2 \ge \|f_S\|_K^2 \]
这说明 $f^* \in S$，因为若 $f^*$ 有任何正交于 $S$ 的分量，该分量将使方程 5.9 中的表达式严格增大。证毕

从现在起，我们将假设 $\|\cdot\|_I$ 满足光滑性条件 (5.10)。

我们终于做好了证明主要结果的准备。

定理 5.2.3　下式的极小元 $f^*$

\[H(f) = \frac{1}{N_L} \sum_{j=1}^{N_L} L_{\mathrm{sup}}(y_j, f(x_j)) + \gamma_K \|f\|_K^2 + \gamma_I \|f\|_I^2 \tag{5.11} \]
具有如下形式：

\[f^*(x) = \sum_{i=1}^{N_L} a_i K(x_i, x) + \int_M a(y) K(x, y) \, d\rho_X(y) \tag{5.12} \]

证明　由引理 5.2.5，极小元 $f^*(x)$ 存在。由引理 5.2.6，$f^*(x) \in S$，即以 $M$ 中的点为中心的核函数的闭包。由引理 5.2.1，我们可以写成 $f^* = \sum_{i=1}^{\infty} a_i e_i$，其中 $\{e_i\}$ 是由积分算子 $I_K$ 的特征向量构成的基；$I_K$ 定义如上：$I_K(f) = \int_M f(y) K(x, y) \, d\rho_X(y)$。

我们将证明 $f^*$ 分解为两项：第一项是数据点 $x_i$ 处核函数的有限和；第二项位于 $I_K$ 的像中，因而可以写成 $\int_M a(y) K(x, y) \, d\rho_X(y)$ 的形式，其中 $a$ 为某个函数。

首先，把 $f^* = \sum_{i=1}^{\infty} a_i e_i$ 代入 $H$：

\[H(f^*) = \frac{1}{N_L} \sum_{j=1}^{N_L} L_{\mathrm{sup}}\Big(y_j, \sum_{i=1}^{\infty} a_i e_i(x_j)\Big) + \gamma_K \Big\|\sum_{i=1}^{\infty} a_i e_i\Big\|_K^2 + \gamma_I \Big\|\sum_{i=1}^{\infty} a_i e_i\Big\|_I^2 \]
对 $a_k$ 求导并令结果为 0：

\[0 = \frac{\partial H(f^*)}{\partial a_k} = \frac{1}{N_L} \sum_{j=1}^{N_L} e_k(x_j) \, \partial_{(2)} L_{\mathrm{sup}}(y_j, f^*(x_j)) + 2\gamma_K \frac{a_k}{\lambda_k} + \gamma_I \langle (D + D^*) f, e_k \rangle \]
其中 $D$ 是一个微分算子，$D^*$ 是它的伴随算子，$\partial_{(2)}$ 表示对 $L_{\mathrm{sup}}$ 的第二个输入求偏导。注意，上式中对应于两个范数的项成立，是因为

\[\frac{\partial}{\partial a_k} \Big\|\sum_{i=1}^{\infty} a_i e_i\Big\|_K^2 = \frac{\partial}{\partial a_k} \sum_{i=1}^{\infty} \frac{a_i^2}{\lambda_i} = \frac{2 a_k}{\lambda_k}, \qquad \frac{\partial}{\partial a_k} \Big\|\sum_{i=1}^{\infty} a_i e_i\Big\|_I^2 = \langle Df, e_k \rangle + \langle f, De_k \rangle = \langle (D + D^*) f, e_k \rangle \]
从上面的方程解出 $a_k$，得到

\[a_k = -\frac{\lambda_k}{2\gamma_K} \left( \frac{1}{N_L} \sum_{j=1}^{N_L} e_k(x_j) \, \partial_{(2)} L_{\mathrm{sup}}(y_j, f^*(x_j)) + \gamma_I \langle (D + D^*) f, e_k \rangle \right) \]
我们可以把这个表达式代回 $f^* = \sum_{i=1}^{\infty} a_i e_i$，得到

\[f^*(x) = -\frac{1}{2\gamma_K N_L} \sum_{j=1}^{N_L} \sum_{k=1}^{\infty} \lambda_k e_k(x_j) e_k(x) \, \partial_{(2)} L_{\mathrm{sup}}(y_j, f^*(x_j)) - \frac{\gamma_I}{2\gamma_K} \sum_{k=1}^{\infty} \lambda_k \langle (D + D^*) f, e_k \rangle e_k \]
利用 $K(x, y) = \sum_{i=1}^{\infty} \lambda_i e_i(x) e_i(y)$ 这一事实，我们有：

\[f^*(x) = \underbrace{-\frac{1}{2\gamma_K N_L} \sum_{j=1}^{N_L} K(x, x_j) \, \partial_{(2)} L_{\mathrm{sup}}(y_j, f^*(x_j))}_{\text{数据点 } x_j \text{ 处核函数之和}} \; \underbrace{-\frac{\gamma_I}{2\gamma_K} \sum_{k=1}^{\infty} \lambda_k \langle (D + D^*) f, e_k \rangle e_k}_{\text{这一项在 } I_K \text{ 的像中}} \]
上式第一项已具有我们所要求的形式。由引理 5.2.2，上式第二项位于 $I_K$ 的像中，当且仅当

\[\sum_{k=1}^{\infty} \frac{\big(\lambda_k \langle (D + D^*) f, e_k \rangle\big)^2}{\lambda_k^2} = \sum_{k=1}^{\infty} \langle (D + D^*) f, e_k \rangle^2 \]
有界。下面的引理 5.2.7 表明 $D$ 是有界的，这蕴涵 $D + D^*$ 有界，从而上式有界。有了这一结果，上式第二项位于 $I_K$ 的像中，因而具有 $\int_M g(y) K(x, y) \, d\rho_X(y)$ 的形式。

因此

\[f^*(x) = \sum_{i=1}^{N_L} a_i K(x_i, x) + \int_M a(y) K(x, y) \, d\rho_X(y) \]
对某些实数 $a_i$ 与某个函数 $a$ 成立。

为完成证明，剩下要做的就是证明 $D$ 有界。为此，我们必须对流形的几何说得更具体一些。设 $M$ 是一个无边流形，配备测度 $\rho$；$D \in C^\infty$ 是一个微分算子；$K(x, y)$ 是一个至少有 $2k$ 阶导数的核。证毕

引理 5.2.7　$D : S \to L^2_\rho$ 是有界算子。

证明　我们证明 $D$ 在 $H_K$ 上有界。注意，上面定义的积分算子 $I_K$ 是紧的（因而有界）。因此，$I_K D$ 有界，并且（取伴随并与 $D^*$ 复合）我们有 $D I_K D^* : L^2_\rho \to L^2_\rho$ 有界。

考虑 $I_K$ 的平方根 $I_K^{1/2}$。从 $I_K$ 的特征值或关系 $I_K^{1/2} \circ I_K^{1/2} = I_K$ 可以看出，这个算子是正的且自伴的。如上所见，$I_K^{1/2} : H_K \to L^2_\rho$ 是一个等距同构，所以任何 $g \in H_K$ 都可以写成 $I_K^{1/2} f$，其中 $f \in L^2_\rho$。于是 $\|f\|_{L^2_\rho} = \|g\|_K$。我们现在有

\[\|Dg\|_{L^2_\rho} = \big\|D I_K^{1/2} f\big\|_{L^2_\rho} \le \big\|D I_K^{1/2}\big\|_{L^2_\rho} \|f\|_{L^2_\rho} = \big\|D I_K^{1/2}\big\|_{L^2_\rho} \|g\|_K \tag{5.13} \]
最后，我们界定 $D I_K^{1/2}$。任取 $\varepsilon > 0$。存在 $f \in L^2_\rho$ 满足 $\|f\|_{L^2_\rho} \le 1 + \varepsilon$，并且

\[\big\|D I_K^{1/2}\big\|_{L^2_\rho}^2 = \big\|I_K^{1/2} D^*\big\|_{L^2_\rho}^2 \le \big\langle I_K^{1/2} D^* f, \, I_K^{1/2} D^* f \big\rangle = \langle D I_K D^* f, f \rangle \le \|D I_K D^*\|_{L^2_\rho} \|f\|_{L^2_\rho}^2 \]
现在 $\|f\|_{L^2_\rho}^2 \le (1+\varepsilon)^2$，且 $\|D I_K D^*\|$ 有界，所以 $\big\|D I_K^{1/2}\big\|$ 有界。

回到方程 5.13，我们看到：

\[\|Dg\|_{L^2_\rho} \le \big\|D I_K^{1/2}\big\|_{L^2_\rho} \|g\|_K \le C \cdot \|g\|_K \]
对某个常数 $C$ 成立。因此 $D$ 是有界算子 $S \to L^2_\rho$。证毕

有了这一结果，我们对定理 5.2.2 的证明即告完成。

幸运的是，离散流形正则化定理的证明要简单得多。它与原始表示定理中的正交性论证相平行。

定理 5.2.4（定理 5.2.2）　下式的极小元 $f^*$

\[H(f) = \frac{1}{N_L} \sum_{j=1}^{N_L} L_{\mathrm{sup}}(y_j, f(x_j)) + \gamma_K \|f\|_K^2 + \frac{\gamma_I}{(N_L+N_U)^2} f^T L f \tag{5.14} \]
具有如下形式：

\[f^*(x) = \sum_{i=1}^{N_L+N_U} a_i K(x_i, x) \tag{5.15} \]

证明　设 $f$ 是方程 5.14 的极小元。令 $S$ 为由数据 $\{x_i\}_{i=1}^{N_L+N_U}$ 上的核函数 $K_{x_i}$ 张成的子空间，换句话说，就是可以写成

\[\sum_{i=1}^{N_L+N_U} a_i K(x_i, x) \]
形式的函数全体，其中 $a_i$ 为某些系数。

写成 $f = f_S + f_{S^\perp}$，其中 $f_S$ 与 $f_{S^\perp}$ 分别是到 $S$ 与 $S^\perp$ 上的正交投影。我们的目标是证明 $f_{S^\perp} = 0$，因为那样 $f$ 就具有形式 $f(x) = f_S(x) = \sum_{i=1}^{N_L+N_U} a_i K(x_i, x)$。

由再生性质，我们看到 $f$ 在数据点 $x_i$ 处的值不依赖于 $f_{S^\perp}$：

\[f(x_i) = \langle f, K_{x_i} \rangle = \langle f_S, K_{x_i} \rangle + \langle f_{S^\perp}, K_{x_i} \rangle = \langle f_S, K_{x_i} \rangle \]
考察方程 5.15，$H(f)$ 的第一个与第三个分量只依赖于 $f$ 在数据点处的取值。因此 $H(f)$ 与 $H(f_S)$ 只在第二个分量上有差别：

\[H(f) - H(f_S) = \|f\|_K^2 - \|f_S\|_K^2 = \|f_{S^\perp}\|_K^2 \]
如果 $f$ 是 $H$ 的极小元，这个差不可能为正，所以：

\[\|f_{S^\perp}\|_K^2 \le 0 \implies \|f_{S^\perp}\|_K^2 = 0 \implies f_{S^\perp} = 0 \]
因此 $f = f_S \in S$，且 $f$ 具有形式

\[f(x) = \sum_{i=1}^{N_L+N_U} a_i K(x_i, x) \]
证毕

基于流形的表示定理只具有理论意义，而这个基于图的版本则使我们能够实际计算流形正则化学习问题的解。下面我们给出两个此类算法的例子。

5.3 算法

一般来说，要求解一个流形正则化学习问题，我们按照表示定理给出的形式

\[f(x) = \sum_{i=1}^{N_L+N_U} a_i K(x_i, x) \]

来求解一个函数，即通过优化参数 $a_i$，通常使用基于梯度的优化方法。

拉普拉斯正则化最小二乘（Lap-RLS）　Lap-RLS 对应于监督数据上的最小二乘损失函数，$L_{\mathrm{sup}}(f(x), y) = (f(x) - y)^2$。于是我们的目标是

\[f^* = \operatorname*{arg\,min}_{f \in H} \; \frac{1}{N_L} \sum_{j=1}^{N_L} \big(f(x_i) - y_i\big)^2 + \gamma_K \|f\|_K^2 + \frac{\gamma_I}{(N_L+N_U)^2} f^T L f \]

由表示定理，极小元具有形式 $f^* = \sum_{i=1}^{N_L+N_U} a_i K(x_i, x)$。此时，我们通常会对 $a_i$ 使用梯度下降，但在这种情形下我们能够给出闭式解。

为简化记号，定义：

$a = (a_1, \dots, a_{N_L+N_U}) \in \mathbb{R}^{N_L+N_U}$ 为系数 $a_i$ 构成的向量；
$K = (K(x_i, x_j))_{i,j=1}^{N_L+N_U} \in \mathbb{R}^{(N_L+N_U) \times (N_L+N_U)}$ 为有标签与无标签数据上的核矩阵（或格拉姆矩阵）；
$Y = (y_1, \dots, y_{N_L}, 0, \dots, 0) \in \mathbb{R}^{N_L+N_U}$ 为在有标签数据上取标签值、在无标签数据上取 0 的标签向量；
$J = \operatorname{diag}(1, \dots, 1, 0, \dots, 0) \in \mathbb{R}^{(N_L+N_U) \times (N_L+N_U)}$ 为在对应于有标签数据的对角元上取 1、其余位置取 0 的矩阵。

代入 $f^* = \sum_{i=1}^{N_L+N_U} a_i K(x_i, x)$，我们的目标是：

\[a^* = \operatorname*{arg\,min}_{a \in \mathbb{R}^{N_L+N_U}} \; \frac{1}{N_L} (Y - JKa)^T (Y - JKa) + \gamma_K a^T K a + \frac{\gamma_I}{(N_L+N_U)^2} a^T K L K a \]

求导并解出 $a^*$，得到：

\[a^* = \left( JK + \gamma_K I + \frac{\gamma_I}{(N_L+N_U)^2} LK \right)^{-1} Y \]

这与标准 RLS 问题众所周知的解 $w^* = (K + \gamma_K I)^{-1} Y$ 相同，只是多出了一个对应于内蕴范数的项。

拉普拉斯支持向量机（Lap-SVM）　Lap-SVM 对应于监督数据上的合页损失，$L_{\mathrm{sup}}(f(x), y) = \max(0, 1 - yf(x)) = (1 - yf(x))_+$，其中 $y \in \{-1, 1\}$。于是我们的目标是

\[f^* = \operatorname*{arg\,min}_{f \in H} \; \frac{1}{N_L} \sum_{j=1}^{N_L} \max\big(0, 1 - y_i f(x_i)\big) + \gamma_K \|f\|_K^2 + \frac{\gamma_I}{(N_L+N_U)^2} f^T L f \]

同样由表示定理，$f^* = \sum_{i=1}^{N_L+N_U} a_i K(x_i, x)$，我们要寻找的是：

\[a^* = \operatorname*{arg\,min}_{a \in \mathbb{R}^{N_L+N_U}} \; \left( \frac{1}{N_L} \sum_{j=1}^{N_L} \max\Big(0, 1 - y_i \Big(\sum_{i=1}^{N_L+N_U} a_i K(x_i, x)\Big)\Big) \right) + \gamma_K a^T K a + \frac{\gamma_I}{(N_L+N_U)^2} a^T K L K a \]

关于复杂度的一点说明　在实践中使用 Lap-RLS、Lap-SVM 及类似算法的主要困难，在于处理核矩阵 $K$ 的计算复杂度——它是一个稠密的 $(N_L+N_U) \times (N_L+N_U)$ 矩阵。例如在 Lap-RLS 中，矩阵求逆需要 $O\big((N_L+N_U)^3\big)$ 的时间，这对于包含数百万无标签样本的数据集来说是不可行的。

为上面所见类型的目标函数发展稀疏且计算上可处理的近似，是一个活跃的研究领域。事实上，这一方向在高斯过程研究社区中最为活跃，因为高斯过程回归面临着同样的对大核矩阵求逆的挑战。

关于黑塞算子的一点说明　到目前为止，我们几乎所有的工作都基于拉普拉斯算子。与之平行地，一个不那么流行但仍值得注意的理论已经兴起：用黑塞算子（Hessian）代替拉普拉斯算子。从拉普拉斯正则化的损失函数切换到黑塞正则化，只需把二次型 $f^T L f$ 改为 $f^T H f$。

在理论上，拉普拉斯算子对应于狄利克雷能量，而黑塞算子对应于 Eells 能量：

\[E_{\mathrm{Eells}}(f) = \int_M \|\nabla_a \nabla_b f\|^2_{T_x^* M \otimes T_x^* M} \, dV(x) \]

把这个表达式在法坐标下整理，就得到 $f$ 的黑塞矩阵的 Frobenius 范数：

\[R(f) = \sum_{i=1}^{N} \sum_{r,s=1}^{m} \left( \frac{\partial^2 f}{\partial x_r \partial x_s}(x_i) \right)^2 \]

然而，黑塞算子的二阶性质是一把双刃剑。一方面它赋予算子上述理想的性质，另一方面它使黑塞算子难以计算。为绕过这一困难，^[52] 通过对数据点拟合一个二次函数，引入了一个稀疏矩阵近似 $B$。这一近似给出的目标函数与基于拉普拉斯算子的流形正则化几乎完全相同：

\[L(f, x, y) = L_{\mathrm{sup}}(y, f(x)) + \gamma_K \|f\|_K^2 + \gamma_I f^T B f \]

其中 $B$ 的地位类似于方程 5.11 中的 $L$。

5.3.1 数据图

到目前为止，我们跳过了流形学习算法的第一步：从数据构造图。这里，我们简要概述不同类型的数据图。在所有情形下，数据图 $G = (V, E)$ 都是无向的，其顶点 $V$ 对应于观测数据 $\{x_i\}_{i=1}^N$。

常见的数据图包括：

$k$ 近邻图：按照某个距离函数 $d$，在每个数据点 $x$ 与离 $x$ 最近的 $k$ 个其他点（最近邻）之间连边。这种图是稀疏且连通的。
$\varepsilon$ 邻域图：按照距离函数 $d$，在所有距离小于 $\varepsilon$ 的数据点对 $(x, x')$ 之间连边。每条边的权重为 1。这种图是稀疏的，但可能不连通。
高斯加权图：用高斯边权构造一个全连接的加权图：$w_{ij} = \exp\!\left(-\dfrac{\|x_i - x_j\|^2}{\sigma^2}\right)$，其中 $\sigma^2 > 0$。这种图具有良好的理论性质，但与这里其他图不同的是它是稠密的，因此计算上难以处理。
b-匹配图：通过求解一个最大权匹配问题得到图：$\min_w \sum_{i,j} w_{ij} d(x_i, x_j)$，约束条件为 $w_{i,j}$ 是二值的、对称的，并且是 $b$-正则的（即每个节点恰好有 $b$ 条边）。其解按构造就是稀疏、连通且 $b$-正则的。人们发现它在中小规模数据集上表现良好，但求解匹配问题可能需要 $O(dn^3)$ 的时间。

表 5.3.1：不同图构造方法的比较。注意，$k$ 近邻与 $\varepsilon$ 邻域方法的运行时间取决于所选的邻居查找算法。通常会选择一个快速的近似算法，而不是精确算法。利用环状置信传播（loopy belief propagation）也可以提高 b-匹配图构造的速度。

类型	稀疏	连通	构造时间
$k$ 近邻	✓	✓	视算法而定
$\varepsilon$ 邻域	✓	✗	视算法而定
高斯	✗	✓	$O(n^2)$
b-匹配	✓	✓	$O(dn^3)$

近期关于图构造的研究还包括基于随机游走 ^[53]、自适应编码 ^[54]、信号表示 ^[55] 以及不同类型图的集成 ^[56] 等方法。

5.4 图拉普拉斯算子的收敛性

在上面的阐述中，流形学习方法还有最后一块没有给出理论上的正当性：我们用相应的数据图拉普拉斯算子来近似数据流形的拉普拉斯算子。鉴于第 4 章中看到的流形拉普拉斯算子与图拉普拉斯算子之间的深刻联系，这种近似应当让人感到自然。

大量的工作致力于在关于流形上数据分布的不同假设集与数据图的不同构造之下，证明这一收敛结果的各种变体。该领域的关键结果来自 ^[50:1]，它表明：对于均匀分布在紧致流形上的数据，当数据点个数趋于无穷时，具有指数加权边的图的拉普拉斯矩阵 $L$ 逐点收敛到流形的拉普拉斯算子 $\Delta_M$。

自这一结果发表以来，众多后续工作放宽了收敛成立所需的假设。^[57] 把结果推广到随机邻域图的设定，包括经典的随机游走图。^[58] 放宽了对核函数光滑性的约束，并把分析扩展到更多类型的图，包括 kNN 图。^[59] 认为奇点与边界是真实数据流形的重要方面，并研究了拉普拉斯算子在这些点附近的行为。^[60] 提出了一种变分方法，研究数据从一个开、有界、连通的集合中抽样时图拉普拉斯算子的谱收敛（与逐点收敛相对）。^[61] 把这些结果推广到嵌入高维外在空间中的（非开的）流形的情形。^[61:1] 发现：当数据在无噪声的情况下抽样时，收敛速率只依赖于流形的内蕴维数；而当数据带有噪声时，收敛速率还依赖于外在空间的维数。非常近期的 ^[62] 对一大类图的拉普拉斯算子的谱收敛速率给出了误差估计。

现在，我们陈述 ^[50:2] 中的关键结果，并给出证明的概要。我们鼓励有兴趣的读者阅读原文以获得完整细节。

设 $M$ 是一个嵌入在 $\mathbb{R}^N$ 中的紧致 $k$ 维流形。设 $S = \{x_i\}_{i=1}^n$，其中 $x_i$ 从 $M$ 上的均匀分布独立同分布地抽样得到（也就是说，对 $x \in M$，分布 $\rho(x) = 1/\mathrm{vol}(M)$）。为记号简便，令 $n$ 表示数据点的个数（此处的 $n$ 对应上文中的 $N_L + N_U$）。

定理 5.4.1（图拉普拉斯算子的收敛性）　固定一个函数 $f \in C^\infty(M)$、一个点 $z \in M$ 和一个常数 $a > 0$。令 $t_n = n^{-1/(k+2+a)}$。则

\[\lim_{n \to \infty} \frac{1}{t_n (4\pi t_n)^{k/2}} L_{t_n} f(z) = \frac{1}{\mathrm{vol}(M)} \Delta_M f(z) \]
其中极限依概率收敛。

证明思路　证明分三步。前两步利用热算子证明当 $t \to 0$ 时 $L^t$ 收敛到 $\Delta_M$；最后一步利用 Hoeffding 不等式证明当 $n \to \infty$ 时 $L_{t_n}^n$ 收敛到 $L^{t_n}$。

证明的关键思想是：如果从数据点 $\{x_i\}_{i=1}^n$ 出发构造一个具有高斯边权的加权图，就可以把它的（离散）拉普拉斯算子与 $M$ 上的（连续）热核联系起来。

形式化地说，设 $G = (V, E)$ 是一个有 $|V| = n$ 个顶点的完全连通加权图，每个顶点对应一个数据点 $x_i \in S$。给 $G$ 的每条边 $(i, j)$ 赋予权重

\[w_{ij} = e^{-\frac{\|x_i - x_j\|^2}{4t}} \]

其中 $t > 0$。注意，$G$ 随节点数 $n$ 与参数 $t$ 的变化而变化。

考虑 $G$ 的拉普拉斯矩阵，我们把它记为 $L_t^n$：

\[L_t^n f(x_i) = f(x_i) \sum_{j=1}^{n} w_{ij} - \sum_{j=1}^{n} f(x_j) w_{ij} \]

\[= \sum_{j=1}^{n} f(x_i) e^{-\frac{\|x_i - x_j\|^2}{4t}} - \sum_{j=1}^{n} f(x_j) e^{-\frac{\|x_i - x_j\|^2}{4t}} \]

我们可以把 $L_t^n$ 延拓为定义在外在空间中点 $x \in \mathbb{R}^N$ 上的函数的线性算子：

\[L_t^n f(x) = f(x) \sum_{j=1}^{n} e^{-\frac{\|x - x_j\|^2}{4t}} - \sum_{j=1}^{n} f(x_j) e^{-\frac{\|x - x_j\|^2}{4t}} \]

这个算子的连续类比，我们记为 $L^t$，把上述表达式从离散的点集 $x_j$ 推广到测度 $\rho$：

\[L^t f(x) = f(x) \int_M e^{-\frac{\|x - y\|^2}{4t}} \, d\rho(y) - \int_M f(y) e^{-\frac{\|x - y\|^2}{4t}} \, d\rho(y) \]

\[= \int_M \big(f(x) - f(y)\big) e^{-\frac{\|x - y\|^2}{4t}} \, d\rho(y) \]

证明的前两步表明：在适当的缩放之下，当 $t \to 0$ 时 $L^t$ 收敛到 $\Delta_M$：

引理 5.4.1　固定 $z \in M$。则：

\[\lim_{t \to 0} \frac{1}{t (4\pi t)^{k/2}} L^t f(z) = \frac{1}{\mathrm{vol}(M)} \Delta_M f(z) \]

第一步，我们把注意力限制在 $z \in M$ 附近的一个开球 $B$ 上，并做一个指数坐标变换。这个坐标变换把我们的计算化简为 $\mathbb{R}^k$ 中的计算。

第二步，我们证明（变换后的）涉及 $L^t$ 的积分收敛到 $\mathbb{R}^N$ 中的拉普拉斯算子。粗略的想法是：由于流形局部上是欧几里得的，我们可以把注意力限制在一个局部空间上，然后利用 $\mathbb{R}^N$ 中高斯积分的性质来证明我们的结果。

第三步也是最后一步，直接应用 Hoeffding 不等式得到 $L_{t_n}^n$ 的收敛性。

完整的细节，我们请读者参阅 ^[50:3]，值得一提的是，这篇文章写得非常好。

5.5 活跃的研究方向

流形正则化学习——无论在理论领域还是经验领域——在机器学习社区中仍是一个充满活力的研究领域。

在上一节讨论的理论领域中，推广图拉普拉斯算子收敛性结果的工作仍在持续推进。在经验领域中，流形正则化正被用于提高学习系统在一系列任务上的性能，例如点集配准 ^[63] 和零样本学习 ^[64]。另一条研究路线试图解决流形正则化学习方法相对于其他流行的机器学习方法的主要缺点：其相对较高的计算成本（因为在优化过程中需要计算 $f(x)^T L f(x)$）。这类研究试图把流形正则化扩展到现代的大规模场景，在这些场景中，处理数百万个数据点并不罕见。^[65] 用神经网络对数据分布建模，并利用它获得拉普拉斯项的蒙特卡洛近似，从而能够扩展到大规模数据集。出于同样的目标，^[66] 提出了一种基于 Nyström 子采样和预条件共轭梯度下降的方法。

5.6 结论

流形学习领域位于数学许多分支的交汇处。本论文试图阐明这些分支之间的联系，尤其着重于图与流形之间非凡的相互作用。

这些联系仍然是机器学习内部与外部研究的核心课题。在机器学习内部，它们的理论与算法意涵推动着新证明与新算法的发展。在机器学习之外，它们为物理学、化学以及众多其他领域提供了洞见。

最后，这些数学本身是美丽的。作者希望，这篇论文即便未能传达其他任何东西，也至少向读者传达了这份美丽的微小一部分。

附录

A.1 补充证明

A.1.1 附录：特征值界（流形）

定理 A.1.1（Faber-Krahn 不等式）　设 $\Omega \subset \mathbb{R}^n$ 为具有光滑边界的有界区域，$B \subset \mathbb{R}^n$ 为与 $\Omega$ 体积相同的球。记 $\lambda_2(\Omega)$ 为 $\Omega$ 的拉普拉斯算子在狄利克雷边界条件（$f|_{\partial\Omega} = 0$）下的第一个非零特征值。则

\[\lambda_2(\Omega) \geq \lambda_2(B) \]
等号当且仅当 $\Omega = B$ 时成立。

下面的证明归功于 ^[67]。

证明（Faber-Krahn）　记 $f$ 为对应于 $\lambda_2(\Omega)$ 的特征函数。我们将在球 $B$ 上构造一个与 $f$ 相似的径向函数 $g$。定义 $g : B \to \mathbb{R}_+$ 为满足

\[\mathrm{vol}(f \geq t) = \mathrm{vol}(g \geq t) \]
的径向函数，即

\[g(x) = \sup\left\{t \geq 0 : \mathrm{vol}(f \geq t) \geq \mathrm{vol}(B_{\|x\|})\right\} \]
我们以这种方式构造 $g$，是为了对 $t$ 积分时能得到：

\[\int_\Omega f^2 \, dV = \int_0^\infty \mathrm{vol}(f^2 \geq t) \, dt = \int_0^\infty \mathrm{vol}(g^2 \geq t) \, dt = \int_B g^2 \, dV \]
利用特征值 $\lambda_2$ 的 Rayleigh 商刻画，我们有

\[\lambda_2(\Omega) = \frac{\int_\Omega |\nabla f|^2}{\int_\Omega f^2} \qquad \text{与} \qquad \lambda_2(B) = \frac{\int_B |\nabla g|^2}{\int_B g^2} \]
我们已经证明了分母相等，因此只需证明 $\int_\Omega |\nabla f|^2 \geq \int_B |\nabla g|^2$。

考虑水平集 $\{g = t\}$ 的面积。由于 $g$ 是径向函数，它在自己的水平集上是常数：

\[\mathrm{Area}\{g = t\} = \int_{\{g=t\}} dS = \sqrt{\int_{\{g=t\}} |\nabla g| \, dS \int_{\{g=t\}} \frac{1}{|\nabla g|} \, dS} \]
对 $f$，由 Cauchy-Schwarz 不等式：

\[\mathrm{Area}\{f = t\} = \int_{\{f=t\}} dS \leq \sqrt{\int_{\{f=t\}} |\nabla f| \, dS \int_{\{f=t\}} \frac{1}{|\nabla f|} \, dS} \]
证明的关键步骤是使用等周不等式（isoperimetric inequality），它断言球是所有形状中体积与表面积之比最大的。

\[\sqrt{\int_{\{f=t\}} |\nabla f| \, dS \int_{\{f=t\}} \frac{1}{|\nabla f|} \, dS} \geq \mathrm{Area}\{f = t\} \geq \mathrm{Area}\{g = t\} = \sqrt{\int_{\{g=t\}} |\nabla g| \, dS \int_{\{g=t\}} \frac{1}{|\nabla g|} \, dS} \tag{A.1} \]
其次，余面积公式（coarea formula）表明

\[\mathrm{vol}(\Omega') = \int_{\Omega'} dV = \int_{-\infty}^{\infty} \int_{f^{-1}(t)} \frac{1}{|\nabla f|} \, dS \, dt \]
将其应用于 $\Omega$ 上的 $f$ 与 $B$ 上的 $g$，得到

\[\int_{\{f=t\}} \frac{1}{|\nabla f|} \, dS = -\frac{d}{dt}\mathrm{vol}(f \geq t) = -\frac{d}{dt}\mathrm{vol}(g \geq t) = \int_{\{g=t\}} \frac{1}{|\nabla g|} \, dS \tag{A.2} \]
其中中间的等号成立，因为 $\mathrm{vol}(f \geq t) = \mathrm{vol}(g \geq t)$。

由式 A.1 与 A.2，我们看到

\[\int_{\{f=t\}} |\nabla f| \, dS \geq \int_{\{g=t\}} |\nabla g| \, dS \]
因此

\[\int_\Omega |\nabla f|^2 = \int_0^\infty \int_{\{f=t\}} |\nabla f| \, dS \, dt \geq \int_0^\infty \int_{\{g=t\}} |\nabla g| \, dS \, dt = \int_B |\nabla g|^2 \]
此结果完成了证明。证毕

A.1.2 附录：特征值界（图）

下面的定理由 Miroslav Fiedler 于 1973 年证明 ^[43:1]，"Fiedler 值"这一术语即源于此。

定理 A.1.2（Fiedler）

\[\lambda_2 \leq \frac{n}{n-1}\min_{v \in V} d_v \qquad \text{且} \qquad \lambda_n \geq \frac{n}{n-1}\max_{v \in V} d_v \tag{A.3} \]

证明　定义矩阵

\[M = L - \lambda_2(I - J/n) \]
注意对常向量 $\mathbf{1}$ 有 $M\mathbf{1} = 0$，因为 $(I - J/n)\mathbf{1} = 0$。

任一向量 $y$ 都可分解为它的正交分量 $y = c_1\mathbf{1} + c_2 x$，其中 $x$ 是与 $\mathbf{1}$ 正交的单位向量。于是我们有

\[y^T M y = c_2^2 \, x^T M x = c_2^2\,(x^T L x - \lambda_2) \]
由于 $\lambda_2 = \min_{\substack{x \perp \mathbf{1} \\ \|x\|_2 = 1}} x^T L x$，上式恒为正，因此 $M$ 是半正定的。

记 $M_{ii}$ 为 $M$ 的第 $i$ 个对角元。注意 $M_{ii} \geq 0$（因为它等于 $e_i^T M e_i$）。于是我们有

\[\min_i M_{ii} = \min_i L_{ii} - \lambda_2(1 - 1/n) \geq 0 \]
重新整理即得 (A.3)。证毕

关于 $\lambda_n$ 的一个界由 Anderson 与 Morley 于 1985 年证明 ^[45:1]。

定理 A.1.3（Anderson 与 Morley）

\[\lambda_n \leq \max_{(i,j) \in E}(d_i + d_j) \]

这一界被 Merris 加强 ^[44:1]，他还给出了一个基于 Gershgorin 圆盘定理的简单证明。

定理 A.1.4（Merris）　设 $m(i)$ 为与顶点 $i$ 相邻的各顶点的度的平均值，即 $m(i) = \frac{1}{|N(i)|}\sum_{j \in N(i)} d_j$，其中 $N(i)$ 表示 $i$ 的邻居集合。则

\[\lambda_n \leq \max_{i \in V}(d_i + m(i)) \tag{A.4} \]

引理 A.1.1（Gershgorin 圆盘定理）　设 $M$ 为元素为 $m_{ij}$ 的 $n \times n$ 矩阵。令 $r_i = \sum_{j \neq i}|m_{ij}|$ 为 $M$ 第 $i$ 行非对角元素的绝对值之和。令 $D_i = D(m_{ii}, r_i) \subset \mathbb{C}$ 为复平面上以 $m_{ii}$ 为圆心、$r_i$ 为半径的闭圆盘。则 $M$ 的每个特征值都包含于某个 $D_i$ 中。

证明（引理）　设 $\lambda$ 为 $M$ 的一个特征值，$v$ 为对应的特征向量。不失一般性，令 $v$ 中幅值最大的分量 $v_i$ 为 $1$。我们有

\[(Mv)_i = (\lambda v)_i = \lambda \]
且

\[(Mv)_i = \sum_j m_{ij} v_j = \sum_{j \neq i} m_{ij} v_j + m_{ii} \]
因此

\[|\lambda - m_{ii}| = \left|\sum_{j \neq i} m_{ij} v_j\right| \leq \sum_{j \neq i} |m_{ij}|\,|v_j| \leq \sum_{j \neq i} |m_{ij}| = r_i \]
这说明 $\lambda \in D_i$。证毕

证明（Merris 界）　考虑 $\tilde{L} = D^{-1}LD$，其中 $D$ 是各顶点度数的对角矩阵。

\[\tilde{L}_{ij} = \begin{cases} d_i & i = j \\ -d_j/d_i & (i,j) \in E \\ 0 & \text{其他情形} \end{cases} \]
应用 Gershgorin 圆盘定理可知，$\tilde{L}$ 的每个特征值 $\lambda$ 都满足

\[\max_i \tilde{L}_{ii} + r_i = \max_i \left(\tilde{L}_{ii} + \sum_{j \in N(i)}|-d_j/d_i|\right) = \max_i \left(d_i + \frac{1}{d_i}\sum_{j \in N(i)} d_j\right) = \max_i (d_i + m(i)) \]
由于 $\tilde{L}$ 与 $D^{-1}LD$ 相似，它们具有相同的特征值，故 (A.4) 成立。证毕

一个简单的界把图上的 $\lambda_2$ 与某个顶点子集上的 $\lambda_2$ 联系起来。

定理 A.1.5　对 $G$ 的顶点子集 $S \subset V$，记 $G\backslash S$ 为删去 $S$ 中所有顶点以及与 $S$ 相连的边后所得的图。则

\[\lambda_2(G) \leq \lambda_2(G\backslash S) + |S| \]

证明　设 $v$ 为 $G\backslash S$ 的拉普拉斯矩阵对应于特征值 $\lambda_2(G\backslash S)$ 的特征向量。在对应 $S$ 的分量处补 $0$，把 $v$ 看作整个 $G$ 上的向量。由 $\lambda_2$ 的 Rayleigh 刻画，

\[\lambda_2(G) \leq \sum_{(i,j) \in E(G)}(v_i - v_j)^2 \]
这些边中的每一条在 $S$ 中有 0、1 或 2 个顶点，所以

\[\lambda_2(G) \leq \sum_{(i,j) \in E(G\backslash S)}(v_i - v_j)^2 + \sum_{i \in S}\sum_{j \in N(i)} v_j^2 + 0 \leq \lambda_2(G\backslash S) + |S| \]
证毕

A.1.3 附录：Cauchy 交错定理

Cauchy 交错定理（Cauchy's Interlacing Theorem）是一个令人满意的结果，它把矩阵的特征值与它的一个 $n-1$ 维主子阵（即删去相同行与列所得的子矩阵）的特征值联系起来。正如人们凭直觉所预期的那样，这两组特征值不可能相差很大。

我们证明该结果的两个版本，其中第二个有时被称为 Weyl 定理或 Weyl 扰动不等式。

定理 A.1.6（Cauchy 交错定理）　设 $A$ 为自伴 $n \times n$ 矩阵，$B$ 为 $A$ 的 $n-1$ 维主子阵。分别记 $A$ 与 $B$ 的特征值为 $\alpha_1 \leq \cdots \leq \alpha_n$ 与 $\beta_1 \leq \cdots \leq \beta_{n-1}$。则

\[\alpha_1 \leq \beta_1 \leq \alpha_2 \leq \cdots \leq \alpha_{n-1} \leq \beta_{n-1} \leq \alpha_n \]

证明　不失一般性，设删去的是 $A$ 的第一行与第一列。对 $A$ 应用 Courant-Fischer 定理，

\[\alpha_{k+1} = \max_{\substack{S \subset \mathbb{R}^n \\ \dim(S) = n-k}} \min_{\substack{x \in S \\ x \neq 0}} \frac{x^T A x}{x^T x} \]
对 $B$ 应用 Courant-Fischer 定理，

\[\beta_k = \max_{\substack{S \subset \mathbb{R}^{n-1} \\ \dim(S) = n-k-1}} \min_{\substack{x \in S \\ x \neq 0}} \frac{x^T B x}{x^T x} = \max_{\substack{S \subset \mathbb{R}^{n-1} \\ \dim(S) = n-k-1}} \min_{\substack{x \in S \\ x \neq 0}} \frac{(0\, x)^T A\, (0\, x)}{(0\, x)^T (0\, x)} \]
其中 $(0\, x)$ 是第一个分量为 $0$、其余 $n-1$ 个分量与 $x$ 相同的 $n$ 维向量。比较这两个表达式，我们看到 $\alpha_{k+1} \geq \beta_k$，因为 $\beta_k$ 的表达式与 $\alpha_{k+1}$ 的相同，只是在一个更小的空间上求值。另一个方向（$\alpha_k \leq \beta_k$）通过对 $\alpha_k$ 与 $\beta_k$ 应用同样的方法得到。证毕

推论 4　设 $B$ 为 $A$ 的 $r$ 维主子阵。则

\[\alpha_i \leq \beta_i \leq \alpha_{i+n-r} \]

证明　依次应用 $r$ 次 Cauchy 交错定理。证毕

这些思想的一个应用是：从图中删去一条边会减小它的特征值。下面的证明归功于 ^[68]，是我所知的最简单的证明。它使用了复分析中的重型工具。

定理 A.1.7（添加边会增大特征值）　设 $G$ 为非完全图，$(i, j)$ 为不在 $E$ 中的一条边。记 $G'$ 为把边 $(i, j)$ 加入 $G$ 后所得的图。则 $G'$ 的特征值与 $G$ 的特征值交错：

\[0 = \lambda_1(G) = \lambda_1(G') \leq \lambda_2(G) \leq \lambda_2(G') \leq \lambda_3(G) \leq \cdots \leq \lambda_n(G) \leq \lambda_n(G') \]

证明　分别记 $G$ 与 $G'$ 的拉普拉斯矩阵为 $L$ 与 $L'$。令 $z$ 为在对应顶点 $i$ 的分量为 $1$、对应顶点 $j$ 的分量为 $-1$、其余分量为 $0$ 的向量。则 $L' = L + zz^T$。

对实数 $t$，考虑量 $tI - L'$。我们有

\[tI - L' = tI - L - zz^T = (tI - L)\left(I - (tI - L)^{-1}zz^T\right) \]
取行列式得到：

\[\det(tI - L') = \det(tI - L)\,\det\left(I - (tI - L)^{-1}zz^T\right) \]
行列式具有性质 $\det(I - CD) = \det(I - DC)$，所以

\[\det\left(I - (tI - L)^{-1}zz^T\right) = 1 - z^T(tI - L)^{-1}z \]
且

\[\frac{\det(tI - L')}{\det(tI - L)} = 1 - z^T(tI - L)^{-1}z \]
把这个关于 $t$ 的表达式记作 $\psi(t)$。

我们现在证明一个关于这种形式的有理函数的引理。

引理 A.1.2　设 $\psi$ 为形如 $\psi(t) = z^T(tI - L)^{-1}z$ 的有理函数，其中 $L$ 是实自伴矩阵。则

$\psi$ 的零点与极点都是单的；

在其有定义的任何地方都有 $\psi' < 0$；

$\psi$ 的相邻极点之间至多相隔 1 个零点。

证明（引理）　把 $\psi$ 写成

\[\psi(t) = \sum_{\lambda \in \mathrm{eval}(L)} \frac{(z^T v_\lambda)^2}{t - \lambda} \]
其中 $\mathrm{eval}(L)$ 表示 $L$ 的特征值集合，$v_\lambda$ 为对应的特征向量。注意这个表达式的极点都是单的。求导得

\[\psi'(t) = -\sum_{\lambda \in \mathrm{eval}(L)} \left(\frac{z^T v_\lambda}{t - \lambda}\right)^2 = -z^T(tI - L)^{-2}z \]
它为负，因为 $z^T(tI - L)^{-2}z = \left\|(tI - L)^{-1}z\right\|^2$。于是 $\psi$ 的每个零点都是单的。

现在考虑 $\psi$ 的相邻极点 $a$ 与 $b$。由于它们是单极点且 $\psi' < 0$，$\psi$ 在 $[a, b]$ 上严格递减。由于 $\psi$ 在该区间内靠近 $a$ 处为正、靠近 $b$ 处为负，可知 $\psi$ 在 $[a, b]$ 中恰有一个零点。此结果完成了引理的证明。证毕

我们现在完成主定理的证明。对如上定义的 $\psi(t)$ 应用该引理，我们看到 $\psi$ 的零点与极点都是单的，且相邻极点之间相隔一个零点。它的极点是 $\det(tI - L)$ 的零点，它的零点是 $\det(tI - L')$ 的零点。换言之，它的极点是 $L$ 的特征值，它的零点是 $L'$ 的特征值。由引理可知，$\psi$ 的 $n$ 个零点与极点相互交错。

还需证明这一交错以 $L$ 的特征值（而非 $L'$ 的特征值）开头，但这是显然的，因为 $L'$ 的迹（特征值之和）比 $L$ 的迹大 2。证毕

A.1.4 附录：Cheeger 不等式

Cheeger 不等式把图或流形的电导（conductance）与其第二个特征值 $\lambda_2$ 联系起来。

定理 A.1.8（图的 Cheeger 不等式）　对不加权的 $d$-正则图，

\[h(G) \leq \sqrt{2d\lambda_2} \]

定理 A.1.9（流形的 Cheeger 不等式）　对闭流形 $M$，

\[h(M) \leq \sqrt{2\lambda_2} \]

下面的证明归功于 ^[48:1]。

证明（图的情形）　证明基于 $\lambda_2$ 的 Rayleigh 刻画。为记号方便，除 Rayleigh 商 $R(f)$ 之外，我们再定义 $L^1$ Rayleigh 商 $R_1(f)$ 为

\[R_1(f) = \frac{\sum_{(i,j) \in E}|f(i) - f(j)|}{\sum_i |f(i)|} \]
顺便提一句，我们前面（在未定义它的情况下）就用过 $L^1$ Rayleigh 商来度量子集的边界。

证明分三个引理进行，其概要如下：

首先，我们证明存在一个非负函数 $\hat{f}$，它支在 $G$ 的至多一半顶点上，且满足 $R(\hat{f}) \leq \lambda_2$。

其次，我们考察 $\hat{f}$ 的逐元素平方，记作 $g$。我们证明 $R_1(g) \leq \sqrt{2dR(\hat{f})}$。

第三，我们证明存在实数 $t \geq 0$，使得集合 $S = \{i : g(i) > t\}$ 满足 $h_G(S) \leq R_1(g)$。

于是

\[h(G) \leq h_G(S) \leq R_1(g) \leq \sqrt{2dR(\hat{f})} \leq \sqrt{2d\lambda_2} \]

引理 A.1.3（G1）　设 $f$ 为与常向量正交的向量。则存在非负分量的向量 $\hat{f}$，使得：

$|\{i : \hat{f}(i) > 0\}| \leq \frac{1}{2}|V|$

$R(\hat{f}) \leq R(f)$

证明　记 $m$ 为 $f$ 的各分量的中位数。令 $\bar{f} = f - m\mathbf{1}$，其中 $\mathbf{1}$ 是全 1 的常向量。我们有

\[\langle \bar{f}, \Delta \bar{f}\rangle = \langle f - m\mathbf{1}, \Delta(f - m\mathbf{1})\rangle = 0 + \langle f, \Delta f\rangle \]
且

\[\langle \bar{f}, \bar{f}\rangle = \langle f - m\mathbf{1}, f - m\mathbf{1}\rangle = \langle f, f\rangle + \langle m\mathbf{1}, m\mathbf{1}\rangle \geq \langle f, f\rangle \]
因为 $f \perp \mathbf{1}$ 且 $\Delta\mathbf{1} = 0$。于是

\[R(\bar{f}) = \frac{\langle \bar{f}, \Delta\bar{f}\rangle}{\langle \bar{f}, \bar{f}\rangle} \leq \frac{\langle f, \Delta f\rangle}{\langle f, f\rangle} = R(f) = \lambda_2 \]
现在把 $\bar{f}$ 分解为分别由它的正分量与负分量构成的两个向量：$\bar{f} = f^+ - f^-$，即 $f_i^+ = \max(0, \bar{f}_i)$，$f_i^- = \max(0, -\bar{f}_i)$。令 $\hat{f}$ 为 $\{f^+, f^-\}$ 中 Rayleigh 商较小的那个向量：

\[\hat{f} = \begin{cases} f^+ & R(f^+) < R(f^-) \\ f^- & \text{其他情形} \end{cases} \]
由于 $f^+$ 与 $f^-$ 都至多有 $|V|/2$ 个非零分量，$\hat{f}$ 支在 $G$ 的至多一半顶点上。剩下要做的只是给出 $\min(R(f^+), R(f^-))$ 的界。利用如下事实：对 $a_1, b_1, a_2, b_2 > 0$，

\[\min\left(\frac{a_1}{b_1}, \frac{a_2}{b_2}\right) \leq \frac{a_1 + a_2}{b_1 + b_2} \]
我们得到

\[\min(R(f^+), R(f^-)) = \min\left(\frac{\langle f^+, \Delta f^+\rangle}{\langle f^+, f^+\rangle}, \frac{\langle f^-, \Delta f^-\rangle}{\langle f^-, f^-\rangle}\right) \leq \frac{\langle f^+, \Delta f^+\rangle + \langle f^-, \Delta f^-\rangle}{\langle f^+, f^+\rangle + \langle f^-, f^-\rangle} \]
由于 $f^+$ 与 $f^-$ 的支集不相交，$\langle f^+, f^-\rangle = 0$，且

\[\langle f^+, f^+\rangle + \langle f^-, f^-\rangle = \langle f^+ - f^-, f^+ - f^-\rangle = \langle \bar{f}, \bar{f}\rangle \]
又由三角不等式，

\[\langle f^+, \Delta f^+\rangle + \langle f^-, \Delta f^-\rangle \leq \langle \bar{f}, \Delta \bar{f}\rangle \]
因此，

\[\min(R(f^+), R(f^-)) \leq \frac{\langle \bar{f}, \Delta\bar{f}\rangle}{\langle f^+, f^+\rangle + \langle f^-, f^-\rangle} = R(\bar{f}) \leq R(f) = \lambda_2 \]
这就完成了引理的证明。证毕

引理 A.1.4（G2）　对向量 $f$，若 $g$ 由 $g_i = f_i^2$ 定义，则 $R_1(g) \leq \sqrt{2dR(f)}$。

证明　这个引理本质上就是 Cauchy-Schwarz 不等式。

对 $R_1(g)$ 的分子应用 Cauchy-Schwarz 不等式，得到

\[\begin{aligned} \sum_{(i,j) \in E} |g(i) - g(j)| &= \sum_{(i,j) \in E} |f^2(i) - f^2(j)| \\ &= \sum_{(i,j) \in E} |f(i) - f(j)|\,(f(i) + f(j)) \\ &\leq \sqrt{\sum_{(i,j) \in E} (f(i) - f(j))^2}\;\sqrt{\sum_{(i,j) \in E} (f(i) + f(j))^2} \quad \text{（Cauchy-Schwarz）} \\ &= \sqrt{R(f) \sum_i f(i)^2}\;\sqrt{\sum_{(i,j) \in E} (f(i) + f(j))^2} \quad \text{（$R(f)$ 的定义）} \\ &\leq \sqrt{R(f) \sum_i f(i)^2}\;\sqrt{\sum_{(i,j) \in E} 2f(i)^2 + 2f(j)^2} \\ &= \sqrt{R(f) \sum_i f(i)^2}\;\sqrt{\sum_i 2d\, f(i)^2} \\ &= \sqrt{2dR(f)}\;\sqrt{\sum_i f(i)^2} = \sqrt{2dR(f)}\;\sqrt{\sum_i g(i)} \end{aligned} \]

因此

\[R_1(g) = \frac{\sum_{(i,j) \in E} |g(i) - g(j)|}{\sum_i g(i)} \leq \sqrt{2dR(f)} \]

引理 A.1.5（G3）　对任意非负向量 $g$，存在实数 $t > 0$，使得

\[\frac{|\partial\{i : g(i) > t\}|}{|\{i : g(i) > t\}|} \leq R_1(g) \]

证明　令 $S_t = \{i : g(i) > t\}$。这些 $S_t$ 有时被称为扫荡集（sweep set）。对每条边 $(i, j)$，令 $\mathbb{1}_{ij}^t$ 表示 $(i, j) \in \partial S_t$ 的示性函数。首先，我们把 $|\partial S_t|$ 与 $R_1(g)$ 联系起来。$R_1(g)$ 的分子可以表示为

\[\sum_{(i,j) \in E} |g(i) - g(j)| = \sum_{(i,j) \in E} \int_0^\infty \mathbb{1}_{ij}^t \, dt \]
$S_t$ 的边界大小为 $|\partial S_t| = \sum_{(i,j) \in E} \mathbb{1}_{ij}^t$，所以

\[\int_0^\infty |\partial S_t| \, dt = \sum_{(i,j) \in E} |g(i) - g(j)| \]
又注意到

\[\int_0^\infty |S_t| \, dt = \sum_i g(i) \]
将这些合起来，我们有

\[R_1(g) = \frac{\sum_{(i,j) \in E} |g(i) - g(j)|}{\sum_i g(i)} = \frac{\int_0^\infty |\partial S_t| \, dt}{\int_0^\infty |S_t| \, dt} \]
令 $t^*$ 为 $|\partial S_t| / |S_t|$ 的最小化点，我们有

\[R_1(g) \geq \frac{\int_0^\infty \frac{|\partial S_{t^*}|}{|S_{t^*}|} \, |S_t| \, dt}{\int_0^\infty |S_t| \, dt} = \frac{|\partial S_{t^*}|}{|S_{t^*}|} \]
因此 $t^*$ 满足引理的结论。证毕

我们现在可以完成 Cheeger 不等式的证明。设 $f$ 为对应于 $\lambda_2$ 的特征函数。由引理 G1，我们得到一个对应的非负函数 $\hat{f}$，它支在 $G$ 的至多一半顶点上，且满足 $R(\hat{f}) \leq R(f) = \lambda_2$。由引理 G2，记 $g$ 为 $\hat{f}$ 的逐元素平方，我们得到

\[R_1(g) \leq \sqrt{2dR(\hat{f})} \]

应用引理 G3，并把所得集合记为 $S = \{i : g(i) > t\}$。由该引理以及 $S$ 至多包含 $G$ 的一半顶点这一事实，我们有

\[h_G(S) = \frac{|\partial S|}{|S|} \leq R_1(g) \leq \sqrt{2dR(\hat{f})} \leq \sqrt{2d\lambda_2} \]

流形情形的证明遵循几乎完全相同的结构。

证明（流形情形）　与上面的证明类似，定义 $L^1$ Rayleigh 商 $R_1(f)$ 为

\[R_1(f) = \frac{\int_M \|\nabla f\| \, dV}{\int_M \|f\| \, dV} \]
证明分三个引理进行。

首先，我们证明存在非负函数 $\hat{f}$，它支在一个体积至多为 $\frac{1}{2}\mathrm{vol}(M)$ 的集合上，且满足 $R(\hat{f}) \leq \lambda_2$。

其次，我们证明

\[R_1(\hat{f}^2) \leq \sqrt{2R(\hat{f})} \]

第三，我们证明存在实数 $t \geq 0$，使得集合 $S = \{x : \hat{f}^2(x) > t\}$ 满足

\[h_M(S) \leq R_1(\hat{f}^2) \]
于是我们有

\[h(M) \leq h_M(S) \leq R_1(\hat{f}^2) \leq \sqrt{2R(\hat{f})} \leq \sqrt{2\lambda_2} \]

引理 A.1.6（M1（流形情形））　设 $f$ 为满足 $\int_M f = 0$ 的函数。则存在函数 $\hat{f} \geq 0$，使得：

$\mathrm{vol}(\{x : \hat{f}(x) > 0\}) \leq \frac{1}{2}\mathrm{vol}(M)$

$R(\hat{f}) \leq R(f)$

证明　令 $m$ 为 $f$ 的中位数，即满足 $\mathrm{vol}(\{x : f(x) < m\}) \geq 1/2$ 的最小的 $m$。令 $\bar{f}(x) = f(x) - m$。$R(\bar{f})$ 与 $R(f)$ 的分子相同：

\[\langle \bar{f}, \Delta \bar{f}\rangle = \langle f - m, \Delta(f - m)\rangle = 0 + \langle f, \Delta f\rangle \]
因为常数的拉普拉斯算子为 $0$。$R(\bar{f})$ 的分母更大：

\[\langle \bar{f}, \bar{f}\rangle = \langle f - m, f - m\rangle = \langle f, f\rangle + \langle m, m\rangle \geq \langle f, f\rangle \]
因为 $f$ 与常数正交（即其积分为 $0$）。注意，在上面的证明中这些内积指的是矩阵乘积，而在这里它们指的是在 $M$ 上的积分。

于是我们有

\[R(\bar{f}) = \frac{\langle \bar{f}, \Delta \bar{f}\rangle}{\langle \bar{f}, \bar{f}\rangle} \leq \frac{\langle f, \Delta f\rangle}{\langle f, f\rangle} = R(f) = \lambda_2 \]
现在令 $f^+ = \max(0, \bar{f})$，$f^- = \max(0, -\bar{f})$。定义 $\hat{f}$ 为 $\{f^+, f^-\}$ 中 Rayleigh 商较小的那个函数。注意 $\hat{f}$ 支在一个体积至多为 $M$ 的一半的区域上。

证明的其余部分与上面图的证明完全相同。

\[\min(R(f^+), R(f^-)) = \min\left(\frac{\langle f^+, \Delta f^+\rangle}{\langle f^+, f^+\rangle}, \frac{\langle f^-, \Delta f^-\rangle}{\langle f^-, f^-\rangle}\right) \leq \frac{\langle f^+, \Delta f^+\rangle + \langle f^-, \Delta f^-\rangle}{\langle f^+, f^+\rangle + \langle f^-, f^-\rangle} \]
由于 $f^+$ 与 $f^-$ 的支集不相交，$\langle f^+, f^-\rangle = 0$，且

\[\langle f^+, f^+\rangle + \langle f^-, f^-\rangle = \langle f^+ - f^-, f^+ - f^-\rangle = \langle \bar{f}, \bar{f}\rangle \]
又由三角不等式，

\[\langle f^+, \Delta f^+\rangle + \langle f^-, \Delta f^-\rangle \leq \langle \bar{f}, \Delta \bar{f}\rangle \]
因此，

\[\min(R(f^+), R(f^-)) \leq \frac{\langle \bar{f}, \Delta \bar{f}\rangle}{\langle f^+, f^+\rangle + \langle f^-, f^-\rangle} = R(\bar{f}) \leq R(f) = \lambda_2 \]
引理证毕。证毕

引理 A.1.7（M2）　对非负的 $f$，

\[R_1(f^2) \leq \sqrt{2R(f)} \]

证明　我们应用链式法则与 Cauchy-Schwarz 不等式：

\[\begin{aligned} \int_M \left\|\nabla(f^2)\right\| \, dV &= \int_M 2|f| \, \|\nabla f\| \, dV \quad \text{（链式法则）} \\ &\leq \sqrt{\int_M 4f^2 \, dV}\;\sqrt{\int_M \|\nabla f\|^2 \, dV} \quad \text{（Cauchy-Schwarz）} \\ &= 2\sqrt{\int_M f^2 \, dV \cdot R(f)} \end{aligned} \]
因此

\[R_1(f^2) \leq \sqrt{2R(f)} \]
证毕

引理 A.1.8（M3）　对任意非负函数 $g$，存在实数 $t > 0$，使得

\[\frac{\mathrm{area}(\partial\{x : g(x) > t\})}{\mathrm{vol}(\{x : g(x) > t\})} \leq R_1(g) \]

证明　令 $S_t = \{x : g(x) > t\}$。考察 $R_1(g)$ 的分子与分母。

对分子，余面积公式（coarea formula）(4.10) 给出

\[\int_M \|\nabla g\| \, dV = \int_0^\infty \mathrm{area}(\partial S_t) \, dt \]
对分母，注意到

\[\int_M \|g\| \, dV = \int_0^\infty \mathrm{vol}(S_t) \, dt \]
将这些合起来，我们有

\[R_1(g) = \frac{\int_0^\infty \mathrm{area}(\partial S_t) \, dt}{\int_0^\infty \mathrm{vol}(S_t) \, dt} \]
令 $t^*$ 为 $\mathrm{area}(\partial S_t) / \mathrm{vol}(S_t)$ 的最小化点，我们有

\[R_1(g) \geq \frac{\int_0^\infty \frac{\mathrm{area}(\partial S_{t^*})}{\mathrm{vol}(S_{t^*})} \, \mathrm{vol}(S_t) \, dt}{\int_0^\infty \mathrm{vol}(S_t) \, dt} = \frac{\mathrm{area}(\partial S_{t^*})}{\mathrm{vol}(S_{t^*})} \]
因此 $t^*$ 满足引理的结论。证毕

为完成流形上 Cheeger 不等式的证明，设 $f$ 为对应于 $\lambda_2$ 的特征函数。由引理 M1（流形情形），我们得到一个函数 $\hat{f}$，它支在一个体积至多为 $M$ 的一半的集合上，且满足 $R(\hat{f}) \leq R(f) = \lambda_2$。由引理 M2，我们得到 $R_1(\hat{f}^2) \leq \sqrt{2R(\hat{f})}$。应用引理 M3，并把所得集合记为 $S = \{x : g(x) > t\}$。由该引理以及 $\mathrm{vol}(S) \leq \frac{1}{2}\mathrm{vol}(M)$ 这一事实，

\[h_M(S) = \frac{|\partial S|}{|S|} \leq R_1(g) \leq \sqrt{2R(\hat{f})} \leq \sqrt{2\lambda_2} \]

在证明了 Cheeger 不等式之后，我们有几点注记。第一，Cheeger 不等式是紧的；我们上面见过的路径图满足

\[h(G) = 1/\lfloor (n-1)/2 \rfloor \qquad \text{且} \qquad \lambda_2 \approx \frac{\pi^2}{2(n-1)^2} \]

第二，图上 Cheeger 不等式的证明立即给出一个算法，可以找到满足 $h_G(S) \leq \sqrt{2\lambda_2}$ 的顶点子集。这样的集合称为 $G$ 的一个稀疏割（sparse cut）。

算法 1：由 f₂ 寻找稀疏割
输入：第 2 个特征函数 f₂
输出：一个稀疏割 S ⊂ V
f ← D^{-1/2} f₂
对顶点排序，使得 f(v₁) ≤ ··· ≤ f(v_n)
初始化 i ← 0, S ← ∅, S* ← {v₁}
while i < n do
    i = i + 1
    S = S ∪ {v_i}
    if h_G(S) ≤ h_G(S*) then
        S* ← S
    end
end
return S*

A.1.5 附录：热传导方程

定理 A.1.10　设 $u(x, t)$ 为齐次热传导方程的一个解。则 $\varphi(t) = \|u(\cdot, t)\|_{L^2}$ 是 $t$ 的非增函数。

证明

\[\begin{aligned} \frac{d}{dt}\|u(\cdot, t)\|_{L^2}^2 &= 2\int_M \partial_t u(x, t)\, u(x, t) \, d\mu(x) \\ &= -2\int_M \Delta u(x, t)\, u(x, t) \, d\mu(x) \\ &= -2\|\nabla u(\cdot, t)\|_{L^2}^2 \end{aligned} \]
由于 $\varphi(t)$ 的导数总为负，它是 $t$ 的非增函数。证毕

定理 A.1.11　齐次热传导方程的解是唯一的。

证明　设 $u_1$ 与 $u_2$ 都是齐次热传导方程的解。则 $u = u_1 - u_2$ 满足

\[\begin{aligned} Lu(x, t) &= 0 \\ u(x, 0) &= 0 \end{aligned} \]
由上面的定理，函数 $t \mapsto \int_M u(x, t)^2 \, dx$ 是 $t$ 的非增函数。由于 $u(x, 0) = 0$，必有 $u(x, t) = 0$。因此 $u_1 = u_2$。证毕

定理 A.1.12（Sturm-Liouville 分解）　记拉普拉斯算子 $\Delta$ 的特征值与特征函数分别为 $\lambda_1 \leq \lambda_2 \leq \cdots$ 与 $\varphi_1, \varphi_2, \ldots$。则

\[p(x, y, t) = \sum_{i=0}^{\infty} e^{-\lambda_i t} \varphi_i(x) \varphi_i(y) \]

下面的证明改自 ^[26:1]。

证明　由谱定理，由于 $e^{-\Delta}$ 是紧自伴算子，它有特征值

\[\beta_1 \geq \beta_2 \geq \cdots \]
及相应的特征函数 $\varphi_1, \ldots, \varphi_n$。

令 $\lambda_i = -\ln \beta_i$。我们要证明这些 $\lambda_i$ 就是 $\Delta$ 的特征值。由热算子的性质，

\[e^{-t\Delta}\varphi_k = \left(e^{-\Delta}\right)^t \varphi_k = \beta_k^t \varphi_k = e^{-t\lambda_k} \varphi_k \]
由于 $e^{-t\Delta}\varphi_k$ 是热传导方程的解，我们有

\[\begin{aligned} 0 = L(e^{-t\Delta}\varphi_k) &= L(e^{-t\lambda_k}\varphi_k) \\ &= \Delta e^{-t\lambda_k}\varphi_k + \partial_t e^{-t\lambda_k}\varphi_k \\ &= e^{-t\lambda_k}\left(\Delta\varphi_k - \lambda_k\varphi_k\right) \end{aligned} \]
所以 $\Delta\varphi_k = \lambda_k\varphi_k$，即 $\lambda_k$ 是 $\Delta$ 的对应于特征函数 $\varphi_k$ 的特征值。

注意，由热传播子的定义，

\[\langle p(x, \cdot, t), \varphi_k\rangle \, \varphi_k(y) = \int_M p(x, y, t)\, \varphi_k(y) \, d\mu(y) = e^{-t\Delta}\varphi_k(x) = e^{-t\lambda_k}\varphi_k(x) \]
最后，由于 $\varphi_i$ 构成 $L^2(M)$ 的一组基，我们可以把 $p$ 写成

\[p(x, y, t) = \sum_{k=0}^{\infty} \langle p(x, \cdot, t), \varphi_k\rangle \, \varphi_k(y) = \sum_{i=0}^{\infty} e^{-\lambda_i t} \varphi_i(x) \varphi_i(y) \]
证毕

A.1.6 附录：积分算子

引理 A.1.9　函数 $\sqrt{\lambda_i}\, e_i$ 构成 $\mathcal{H}_K$ 的一组标准正交基。

证明　首先，我们证明函数族 $\{\sqrt{\lambda_i}\, e_i\}$ 在 $\mathcal{H}_K$ 中是标准正交的。注意到

\[\langle K_x, e_i\rangle_\rho = \int e_i(y) K(x, y) \, d\rho(y) = (I_K e_i)(x) = \lambda_i e_i(x) \]
所以 $K_x = K(x, \cdot) = \sum_{i=1}^{\infty} \lambda_i e_i(x)\, e_i$。于是由再生性质，

\[e_j(x) = \langle K_x, e_j\rangle_K = \sum_{i=1}^{\infty} \lambda_i e_i(x) \langle e_i, e_j\rangle_K \]
这意味着

\[\langle e_i, e_j\rangle_K = \begin{cases} 0 & i \neq j \\ 1/\lambda_i & i = j \end{cases} \]
因此重新缩放的向量 $\{\sqrt{\lambda_i}\, e_i\}$ 在 $\mathcal{H}_K$ 中是标准正交的。

其次，我们证明 $\{e_i\}$ 张成 $\mathcal{H}_K$。设 $f \in \mathcal{H}_K$ 与所有 $e_i$ 正交。则由再生性质：

\[\begin{aligned} f(x) = \langle f, K_x\rangle_K &= \left\langle f, \sum_{i=1}^{\infty} \lambda_i e_i(x)\, e_i \right\rangle_K \\ &= \left\langle f, \sum_{i=1}^{\infty} \lambda_i \langle e_i, K_x\rangle_K\, e_i \right\rangle_K \\ &= \sum_{i=1}^{\infty} \lambda_i e_i(x) \langle f, e_i\rangle_K \\ &= 0 \end{aligned} \]
其中最后一步成立是因为 $f$ 与所有 $e_i$ 正交。这一结果表明 $\mathcal{H}_K$ 由 $\{e_i\}$ 张成。因此 $\sqrt{\lambda_i}\, e_i$ 是 $\mathcal{H}_K$ 的一组标准正交基。证毕

注：证明这一结果的另一种方式是考虑积分算子的平方根 $I_K^{1/2}$。$I_K^{1/2}$ 是一个等距同构 $L^2_\rho \to \mathcal{H}_K$，也就是说：

\[\langle f, g\rangle_\rho = \langle L_K^{1/2} f, L_K^{1/2} g\rangle_K, \quad \forall f, g \in \mathcal{H}_K \]

而 $L_K^{1/2}$ 的一组单位范数特征基是 $\sqrt{\lambda_i}\, e_i$。

引理 A.1.10　函数 $f = \sum_{i=1}^{\infty} a_i e_i$ 位于 $I_K$ 的值域中，当且仅当

\[\sum_{i=1}^{\infty} b_i^2 < \infty \tag{A.5} \]
其中 $b_i = a_i / \lambda_i$。

证明　设 (A.5) 式成立。令 $g = \sum_{i=1}^{\infty} b_i e_i \in L^2_\rho$。作用 $I_K$ 得到：

\[I_K(g) = I_K\left(\sum_{i=1}^{\infty} b_i e_i\right) = \sum_{i=1}^{\infty} \lambda_i b_i e_i = \sum_{i=1}^{\infty} a_i e_i = f \]
于是 $f$ 位于 $I_K$ 的值域中。

反之，设存在某个 $g \in L^2_\rho$ 使得 $f = I_K(g)$。由上面的引理，我们可以写成 $g = \sum_{i=1}^{\infty} b_i e_i \in L^2_\rho$，于是有 $\sum_{i=1}^{\infty} b_i^2 < \infty$，这正是 (A.5) 式。证毕

A.1.7 附录：$\operatorname{span}\{k_x\}$ 的闭包

设 $S$、$\mathcal{H}_K$ 与 $S_M$ 如 5.2 节（引理 5.2.3）中所定义。

引理 A.1.11　$\mathcal{H}_{K_M} = S_M$

证明　设 $f_M$ 为 $S_M$ 中的任意函数。由 $\mathcal{H}_{K_M}$ 的完备性，我们可以写成 $f_M = \lim_{n \to \infty} f_M^{(n)}$，其中 $f_M^{(n)}$ 位于核函数的张成中：$f_M^{(n)} = \sum_i a_i^{(n)} K_{M, x_i}$。

令 $f^{(n)}$ 为 $\mathcal{H}_K$ 中相应的序列：$f^{(n)} = \sum_i a_i^{(n)} K_{x_i}$。

我们看到 $f^{(n)}$ 是一个柯西序列，因为

\[\left\|f^{(n)} - f^{(k)}\right\|_K = \left\|f_M^{(n)} - f_M^{(k)}\right\|_{M_K} \]
且 $f_M^{(n)}$ 收敛。于是极限 $f = \lim_{n \to \infty} f^{(n)}$ 存在，且 $f = f_M$。

因此 $\mathcal{H}_{K_M} \subset S_M$；交换两个空间的角色即得反向包含。证毕

引理 A.1.12　$S$ 的补为 $S^\perp = \{f \in \mathcal{H}_K : f(M) = 0\}$。

证明　若 $f \in S^\perp$，则 $f$ 在 $M$ 上消失，因为 $f(x) = \langle k_x, f\rangle_K = 0$ 对 $x \in M$ 成立。

反之，若 $f(M) = 0$，则对每个 $x \in M$ 都有 $\langle k_x, f\rangle_K = f(x) = 0$，所以 $f$ 与 $\operatorname{span}\{k_x : x \in M\}$ 的闭包正交。证毕

脚注

参考文献

Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. Imagenet: A large-scale hierarchical image database. In 2009 IEEE conference on computer vision and pattern recognition, pages 248–255. Ieee, 2009. ↩︎
Marius Cordts, Mohamed Omran, Sebastian Ramos, Timo Rehfeld, Markus Enzweiler, Rodrigo Benenson, Uwe Franke, Stefan Roth, and Bernt Schiele. The cityscapes dataset for semantic urban scene understanding. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 3213–3223, 2016. ↩︎
为分割任务标注图像的工作如此繁重，以至于它已经成为一个庞大的产业：ScaleAI——一家向自动驾驶汽车公司出售数据标注服务的初创公司——估值已超过十亿美元。根据其网站，他们对图像分割的每个标注帧收费 6.40 美元。如果你以每秒 30 帧录制 24 小时的视频并试图标注每一帧，你将需要标注 2,592,000 幅图像。其中许多图像会非常相似，但即使你按每秒 1 帧进行子采样，也需要标注 86,400 幅图像。 ↩︎
在医学图像分割等领域，标注的成本甚至更高，因为图像必须由受过高度训练的专业人员标注。 ↩︎
关于其中许多领域的深入综述，鼓励读者参阅 ^[69]。 ↩︎
事实上，已有大量工作致力于确定图像流形的内蕴维数 ^[70]。 ↩︎
特别地，流形假设是大多数流行降维技术的基础：PCA、Isomap ^[71]、拉普拉斯特征映射（Laplacian Eigenmaps）^[72]、扩散映射（Diffusion Maps）^[73]、局部线性嵌入（Locally Linear Embedding）^[74]、局部切空间对齐（Local Tangent Space Alignment）^[75] 等等。 ↩︎
Rui Castro. Statistical learning theory lecture notes, 2018. ↩︎
Lorenzo Rosasco and Tomaso Poggio. Machine Learning: A Regularization Approach. 2017. ↩︎ ↩︎
Shai Shalev-Shwartz and Shai Ben-David. Understanding machine learning: From theory to algorithms. Cambridge university press, 2014. ↩︎ ↩︎
严格来说，$\mathcal{A}$ 也可能是随机的，但为简便起见，这里我们只考虑确定性的 $\mathcal{A}$ 与随机的 $S$。 ↩︎
Anis Ben Abdessalem, Nikolaos Dervilis, David J Wagg, and Keith Worden. Automatic kernel selection for gaussian processes regression with approximate bayesian computation and sequential monte carlo. Frontiers in Built Environment, 3:52, 2017. ↩︎
Qizhe Xie, Zihang Dai, Eduard Hovy, Minh-Thang Luong, and Quoc V Le. Unsupervised data augmentation for consistency training. arXiv preprint arXiv:1904.12848, 2019. ↩︎ ↩︎
Alain Berlinet and Christine Thomas-Agnan. Reproducing kernel Hilbert spaces in probability and statistics. Springer Science & Business Media, 2011. ↩︎
Jonathan H Manton, Pierre-Olivier Amblard, et al. A primer on reproducing kernel hilbert spaces. Foundations and Trends® in Signal Processing, 8(1–2):1–126, 2015. ↩︎
Vern I. Paulsen and Mrinal Raghupathi. An Introduction to the Theory of Reproducing Kernel Hilbert Spaces. Cambridge Studies in Advanced Mathematics. Cambridge University Press, 2016. doi: 10.1017/CBO9781316219232. ↩︎
M. Loeve. Probability Theory I. Graduate Texts in Mathematics. Springer New York, 1977. ISBN 9781468494648. URL https://books.google.com/books?id=L6vhBwAAQBAJ. ↩︎
严格来说，这里的 OU 过程的初始条件取自一个平稳分布；等价地，它也可以视为远离严格边界条件的 OU 过程的极限。 ↩︎
我们鼓励读者回过头去核验上面所有的例子（尤其是 Paley–Wiener 空间）都是用逐点良定义的函数定义的，而非函数的等价类。 ↩︎
Jian-Wu Xu, Puskal P Pokharel, Kyu-Hwa Jeong, and Jose C Principe. An explicit construction of a reproducing gaussian kernel hilbert space. In 2006 IEEE International Conference on Acoustics Speech and Signal Processing Proceedings, volume 5, pages V–V. IEEE, 2006. ↩︎
文献中使用的记号并不统一。常见的情形是"Mercer 核"与"核"互换使用。实际上，几乎所有感兴趣的核都是 Mercer 核。 ↩︎
Frigyes Riesz and Bela Sz Nagy. Functional analysis, ungar, new york, 1955. RieszFunctional analysis1955, 1990. ↩︎
Sune K Jakobsen. Mutual information matrices are not always positive semidefinite. IEEE Transactions on information theory, 60(5):2694–2696, 2014. ↩︎
Fan RK Chung. Lectures on spectral graph theory. CBMS Lectures, Fresno, 6: 17–21, 1996. ↩︎
Daniel Spielman. Spectral graph theory and its applications. In 48th Annual IEEE Symposium on Foundations of Computer Science (FOCS’07), pages 29–38. IEEE, 2007. ↩︎
Yaiza Canzani. Analysis on manifolds via the laplacian. ↩︎ ↩︎ ↩︎
关于流形上基于拉普拉斯算子的分析的文献比谱图理论的文献略少一些。对于感兴趣的读者，我强烈推荐 ^[26:2]。 ↩︎
Ethan Bolker, Victor Guillemin, and Tara Holm. How is a graph like a manifold? arXiv preprint math/0206103, 2002. ↩︎ ↩︎
乍看之下，邻接矩阵似乎是和图最自然相关的矩阵。然而，出于多种原因，拉普拉斯矩阵通常与图的基本组合性质联系更为紧密。这一规则的一个显著例外出现在随机游走的研究中：在那里，邻接矩阵的幂与谱决定了随机游走的行为与平衡态。 ↩︎
具体来说，$\Gamma$ 是 $\mathbb{R}^n$ 的一组基 $\{e_1, e_2, \ldots, e_n\}$ 的所有整数系数线性组合构成的集合。 ↩︎
一般地，若一个流形在所有点处的曲率都为零，则称它是平坦的。其他通常赋予平坦度量的空间包括圆柱面、莫比乌斯带和克莱因瓶。 ↩︎
画在嵌入 $\mathbb{R}^3$ 的环面"内侧"的三角形，其内角之和小于 $\pi$，而画在"外侧"的三角形，其内角之和大于 $\pi$。虽然本书不会讨论高斯曲率，但我们指出，这个内角之和由曲面的曲率支配：环面内侧的曲率为负，外侧的曲率为正。再举一个例子，具有正高斯曲率的二维球面上三角形的内角之和为 $\frac{3\pi}{2}$。 ↩︎
对感兴趣的读者，我们指出：已知甚至不存在平坦环面在 $\mathbb{R}^3$ 中的光滑保度量（即等距）$C^2$ 嵌入。然而，Nash 1950 年的结果表明存在等距的 $C^1$ 嵌入。2012 年，这样的嵌入首次被显式构造出来；其结构类似于分形 ^[76]。 ↩︎
W. T. Tutte. How to draw a graph. 1963. ↩︎
Mark Kac. Can one hear the shape of a drum? The american mathematical monthly, 73(4P2):1–23, 1966. ↩︎
Carolyn Gordon, David L Webb, and Scott Wolpert. One cannot hear the shape of a drum. Bulletin of the American Mathematical Society, 27(1):134–138, 1992. ↩︎
此外，如果具有相同谱的图都同构，那么我们就能得到图同构问题的一个多项式时间解法——图同构问题即判定两个有限图是否同构的问题。图同构问题既不知道能否在多项式时间内求解，也不知道是否为 NP 完全。 ↩︎
虽然不太常见，但其他类型的边界条件还包括 Robin、Mixed 与 Cauchy 条件。它们各自都是 Dirichlet 与 Neumann 边界条件的不同组合（Robin 是线性组合，Mixed 是分片组合，而 Cauchy 同时施加两者）。 ↩︎
Sebastian Haeseler, Matthias Keller, Daniel Lenz, and Radoslaw Wojciechowski. Laplacians on infinite graphs: Dirichlet and neumann boundary conditions, 2011. ↩︎
Mohammad Javaheri. Dirichlet problem on locally finite graphs. Discrete Applied Mathematics, 155(18):2496 – 2506, 2007. ISSN 0166-218X. doi: https://doi.org/10.1016/j.dam.2007.06.018. URL http://www.sciencedirect.com/science/article/pii/S0166218X07002296. ↩︎
Daniel Spielman. Spectral and algebraic graph theory. 2019. ↩︎
严格来说，这个最小化是在与 $M$ 对应的 Sobolev 空间 $H^1(M)$ 上的所有函数 $f$ 上进行的。 ↩︎
Miroslav Fiedler. Algebraic connectivity of graphs. Czechoslovak mathematical journal, 23(2):298–305, 1973. ↩︎ ↩︎
Russell Merris. A note on laplacian graph eigenvalues. Linear algebra and its applications, 285(1-3):33–35, 1998. ↩︎ ↩︎
William N Anderson Jr and Thomas D Morley. Eigenvalues of the laplacian of a graph. Linear and multilinear algebra, 18(2):141–145, 1985. ↩︎ ↩︎
该证明涉及的背景知识（复分析）超出了本书预期的读者背景。尽管如此，我们鼓励有冒险精神的读者去看一看！ ↩︎
Guilherme Porto and Luiz Emílio Allem. Eigenvalue interlacing in graphs. Proceeding Series of the Brazilian Society of Computational and Applied Mathematics, 5(1), 2017. ↩︎
Luca Trevisan. The cheeger inequality in manifolds. 2013. ↩︎ ↩︎
Mikhail Belkin, Partha Niyogi, and Vikas Sindhwani. Manifold regularization: A geometric framework for learning from labeled and unlabeled examples. Journal of machine learning research, 7(Nov):2399–2434, 2006. ↩︎ ↩︎ ↩︎ ↩︎
Mikhail Belkin and Partha Niyogi. Towards a theoretical foundation for laplacian-based manifold methods. In International Conference on Computational Learning Theory, pages 486–500. Springer, 2005. ↩︎ ↩︎ ↩︎ ↩︎
Xueqi Ma and Weifeng Liu. Recent advances of manifold regularization. In Manifolds II-Theory and Applications. IntechOpen, 2018. ↩︎
Kwang I Kim, Florian Steinke, and Matthias Hein. Semi-supervised regression using hessian energy with an application to semi-supervised dimensionality reduction. In Advances in Neural Information Processing Systems, pages 979–987, 2009. ↩︎
Delip Rao, David Yarowsky, and Chris Callison-Burch. Affinity measures based on the graph laplacian. In Proceedings of the 3rd Textgraphs Workshop on Graph-Based Algorithms for Natural Language Processing, pages 41–48. Association for Computational Linguistics, 2008. ↩︎
Libo Weng, Fadi Dornaika, and Zhong Jin. Graph construction based on data self-representativeness and laplacian smoothness. Neurocomputing, 207:476–487, 2016. ↩︎
Xiaowen Dong, Dorina Thanou, Michael Rabbat, and Pascal Frossard. Learning graphs from data: A signal representation perspective. IEEE Signal Processing Magazine, 36(3):44–63, 5 2019. ISSN 1558-0792. doi: 10.1109/msp.2018.2887284. URL http://dx.doi.org/10.1109/MSP.2018.2887284. ↩︎
Andreas Argyriou, Mark Herbster, and Massimiliano Pontil. Combining graph laplacians for semi–supervised learning. In Advances in Neural Information Processing Systems, pages 67–74, 2006. ↩︎
Matthias Hein, Jean-Yves Audibert, and Ulrike von Luxburg. Graph laplacians and their convergence on random neighborhood graphs. Journal of Machine Learning Research, 8(Jun):1325–1368, 2007. ↩︎
Daniel Ting, Ling Huang, and Michael Jordan. An analysis of the convergence of graph laplacians. arXiv preprint arXiv:1101.5435, 2011. ↩︎
Mikhail Belkin, Qichao Que, Yusu Wang, and Xueyuan Zhou. Toward understanding complex spaces: Graph laplacians on manifolds with singularities and boundaries. In Conference on learning theory, pages 36–1, 2012. ↩︎
Nicolas Garcia Trillos and Dejan Slepcev. A variational approach to the consistency of spectral clustering. Applied and Computational Harmonic Analysis, 45(2):239–281, 2018. ↩︎
Xu Wang. Spectral convergence rate of graph laplacian. arXiv preprint arXiv:1510.08110, 2015. ↩︎ ↩︎
Nicolas Garcia Trillos, Moritz Gerlach, Matthias Hein, and Dejan Slepcev. Error estimates for spectral convergence of the graph laplacian on random geometric graphs toward the laplace–beltrami operator. Foundations of Computational Mathematics, 20(4):827–887, 2020. ↩︎
J. Ma, J. Wu, J. Zhao, J. Jiang, H. Zhou, and Q. Z. Sheng. Nonrigid point set registration with robust transformation learning under manifold regularization. IEEE Transactions on Neural Networks and Learning Systems, 30(12):3584–3597, 2019. ↩︎
M. Meng and J. Yu. Zero-shot learning via robust latent representation and manifold regularization. IEEE Transactions on Image Processing, 28(4):1824–1836, 2019. ↩︎
Bruno Lecouat, Chuan-Sheng Foo, Houssam Zenati, and Vijay R Chandrasekhar. Semi-supervised learning with gans: Revisiting manifold regularization. International Conference on Learning Representations Workshop, 2018. ↩︎
Jian Li, Yong Liu, Rong Yin, and Weiping Wang. Approximate manifold regularization: Scalable algorithm and generalization analysis. In IJCAI, pages 2887–2893, 2019. ↩︎
Kwok-Kun Kwong. Faber-krahn inequality, 9 2017. URL https://cuhkmath.wordpress.com/2017/09/09/faber-krahn-inequality/. ↩︎
C. Godsil and G.F. Royle. Algebraic Graph Theory. Graduate Texts in Mathematics. Springer New York, 2013. ISBN 9781461301639. URL https://books.google.com/books?id=GeSPBAAAQBAJ. ↩︎
Kevin P Murphy. Machine learning: a probabilistic perspective. 2012. ↩︎
Sixue Gong, Vishnu Naresh Boddeti, and Anil K Jain. On the intrinsic dimensionality of image representations. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 3987–3996, 2019. ↩︎
Joshua B Tenenbaum, Vin De Silva, and John C Langford. A global geometric framework for nonlinear dimensionality reduction. science, 290(5500):2319–2323, 2000. ↩︎
Mikhail Belkin and Partha Niyogi. Laplacian eigenmaps for dimensionality reduction and data representation. Neural computation, 15(6):1373–1396, 2003. ↩︎
Ronald R Coifman and Stephane Lafon. Diffusion maps. Applied and computational harmonic analysis, 21(1):5–30, 2006. ↩︎
Sam T Roweis and Lawrence K Saul. Nonlinear dimensionality reduction by locally linear embedding. science, 290(5500):2323–2326, 2000. ↩︎
Tianhao Zhang, Jie Yang, Deli Zhao, and Xinliang Ge. Linear local tangent space alignment and application to face recognition. Neurocomputing, 70(7-9):1547–1553, 2007. ↩︎
Vincent Borrelli, Said Jabrane, Francis Lazarus, and Boris Thibert. Flat tori in three-dimensional space and convex integration. Proceedings of the National Academy of Sciences, 2012. ISSN 0027-8424. doi: 10.1073/pnas.1118478109. URL https://www.pnas.org/content/early/2012/04/18/1118478109. ↩︎

posted @ 2026-08-13 16:13 sasasatori 阅读(185) 评论(0) 收藏举报

刷新页面返回顶部

名称	核	应用领域
线性（Linear）	\(x^T x'\)	无处不在
多项式（Polynomial）	\((c + x^T x')^p\)	无处不在
高斯（Gaussian）	\(e^{-\frac{1}{2\sigma}\|x - y\|^2}\)	无处不在
指数（Exponential）	\(e^{-\sigma\|x - y\|}\)	无处不在
双曲正切（Tanh）	\(\tanh(\sigma x^T x' + b)\)	神经网络
狄利克雷（Dirichlet）	\(\dfrac{\sin\big((n + 1/2)(x - x')\big)}{2\pi \sin\big((x - x')/2\big)}\)	傅里叶分析
泊松（Poisson）	\(\dfrac{1 - \sigma^2}{\sigma^2 - 2\sigma \cos(x - x') + 1}\)	二维拉普拉斯方程
Sinc	\(\dfrac{\sin(\sigma (x - x'))}{x - x'}\)	信号处理
有理二次（Rational Quadratic）	\(\sigma^2 \Big(1 + \dfrac{(x - x')^2}{2\alpha \ell^2}\Big)^{-\alpha}\)	高斯过程
指数-正弦平方（Exp-Sine-Squared）	\(\sigma^2 \exp\Big(-\dfrac{2\sin^2(\pi \|x - x'\| / p)}{\ell^2}\Big)\)	高斯过程
Matérn 核	\(\sigma^2 \dfrac{2^{1 - \nu}}{\Gamma(\nu)} \Big(\dfrac{\sqrt{2\nu}\, \|x - x'\|}{\rho}\Big)^{\nu} K_\nu\Big(\dfrac{\sqrt{2\nu}\, \|x - x'\|}{\rho}\Big)\)	高斯过程

类型	稀疏	连通	构造时间
\(k\) 近邻	✓	✓	视算法而定
\(\varepsilon\) 邻域	✓	✗	视算法而定
高斯	✗	✓	\(O(n^2)\)
b-匹配	✓	✓	\(O(dn^3)\)

Loading

sasasatori

The Mathematical Foundations of Manifold Learning（流形学习的数学基础）翻译

The Mathematical Foundations of Manifold Learning（流形学习的数学基础）

作者注

译者注

第1章 引言

1.1 什么是学习？

1.2 来自人与动物学习的启示

1.3 学习的类型

1.3.1 监督学习

1.3.2 半监督学习

1.3.3 无监督学习

1.4 流形学习

1.5 概述

第2章 基础

2.0.1 学习算法与损失函数

2.1 学习问题

2.2 正则化

第3章 核学习

3.0.1 动机

3.1 再生核希尔伯特空间

3.1.1 例子

3.1.2 结构

3.2 核、正函数与特征映射

3.2.1 几何

3.2.2 积分算子

3.3 吉洪诺夫正则化与表示定理

3.4 算法

3.4.1 构造核

第4章 图与流形

相关工作与章节概述

4.1 光滑性与拉普拉斯算子

4.1.1 更多定义与性质

4.1.2 例子

4.2 来自物理学的启示

4.3 拉普拉斯谱

4.3.1 拉普拉斯谱示例

4.3.2 关于边界的一点说明

4.3.3 特征值的 Rayleigh 刻画

4.4 特征值与连通性

4.4.1 前几个特征值

4.4.2 特征值界

4.4.3 界与边界

4.5 热核

4.5.1 流形

4.5.2 图

第5章 流形正则化

5.0.1 背景

5.0.2 本章组织

5.1 流形正则化

5.2 表示定理

5.3 算法

5.3.1 数据图

5.4 图拉普拉斯算子的收敛性

5.5 活跃的研究方向

5.6 结论

附录

A.1 补充证明

A.1.1 附录：特征值界（流形）

A.1.2 附录：特征值界（图）

A.1.3 附录：Cauchy 交错定理

A.1.4 附录：Cheeger 不等式

A.1.5 附录：热传导方程

A.1.6 附录：积分算子

A.1.7 附录：\(\operatorname{span}\{k_x\}\) 的闭包

脚注

参考文献

公告

第1章引言

第2章基础

第3章核学习

第4章图与流形

第5章流形正则化