深入解析：模式识别与机器学习课程笔记（10）：采样方法

模式识别与机器学习课程笔记（10）：采样方法

• 概述
• 基本采样方法
• • 1. 均匀采样（Uniform Sampling）
  • • 采样步骤
    • 适用场景
  • 2. 逆变换采样（Inverse Transform Sampling）
  • • 核心原理
    • 采样步骤
    • 示例：指数分布的逆变换采样
    • 局限性
  • 3. 拒绝采样（Rejection Sampling）
  • • 核心原理
    • 关键公式
    • 采样步骤
    • 局限性
• 蒙特卡洛马尔可夫链（MCMC）采样
• • 1. MCMC的核心概念
  • • （1）马尔可夫链（Markov Chain）
    • （2）平稳分布（Stationary Distribution）
    • （3）细致平稳条件（Detailed Balance Condition）
  • 2. Metropolis-Hastings（MH）算法
  • • 核心思想
    • 关键公式
    • 采样步骤
    • 注意事项
• Gibbs采样
• • 1. 核心原理
  • 2. 采样步骤
  • 3. 示例：二维正态分布的Gibbs采样
  • • 采样过程
  • 4. 优缺点
  • • 优点
    • 缺点
• 总结

概述

在模式识别与机器学习中，许多核心问题（如概率模型的参数估计、复杂分布的期望计算、生成式模型的数据生成）都依赖于采样技术。其本质是从给定的概率分布$p(x)$中抽取一系列符合该分布的样本$\{x_1,x_2,...,x_N\}$，依据样本的统计特性（如均值、方差）近似原分布的特性。

为什么必须采样？核心原因有两点：

1. 艰难积分难以解析求解：当应该计算分布的期望$E_{p(x)}[f(x)]=\int f(x)p(x)dx$时，若$p(x)$是高维或非标准分布（如混合高斯、贝叶斯模型的后验），积分无法通过公式直接计算，此时可经过采样得到样本$\{x_i\}$，用样本均值$\frac{1}{N}{\sum }_{i=1}^{N}f(x_i)$近似期望。
2. 生成符合分布的资料：生成式模型（如GAN、VAE）的目标是生成符合真实数据分布的内容，而采样是实现这一目标的直接手段。

采样方法的核心评价指标包括采样效率（单位时间内得到有效样本的数量）和样本质量（样本是否严格服从目标分布、是否存在相关性）。后续将从基础到进阶，逐步介绍常用采样方法。

基本采样方法

基本采样途径适用于目标分布$p(x)$依据“确定性变换”或“接受-拒绝机制”从简单分布（如均匀分布、正态分布）推导目标分布的样本。就是结构简单（如低维、有显式概率密度函数）的场景，核心

1. 均匀采样（Uniform Sampling）

最基础的采样途径，目标分布为就是均匀采样均匀分布$U(a,b)$，其概率密度函数为：
$$p(x)=\{\begin{array}{ll}\frac{1}{b-a},& a\le x\le b\\ 0,& \text{其他}\end{array}$$

采样步骤

1. 调用计算机内置的伪随机数生成器，得到$[0,1]$区间的均匀样本$u\sim U(0,1)$；
2. 凭借线性变换将$u$映射到$[a,b]$区间，即$x=a+(b-a)\cdot u$；
3. 重复步骤1-2，得到独立同分布的均匀样本$\{x_1,x_2,...,x_N\}$。

适用场景

• 作为其他采样方法的“基础组件”（如逆变换采样、拒绝采样均依赖均匀采样）；
• 便捷的随机实验设计（如随机打乱数据、划分训练/测试集）。

2. 逆变换采样（Inverse Transform Sampling）

逆变换采样适用于一维、且累积分布函数（CDF）存在显式逆函数的目标分布$p(x)$，核心是通过“CDF逆变换”将均匀样本映射为目标分布样本。

核心原理

对于目标分布$p(x)$，其累积分布函数定义为：
$$F_X(x)=P(X\le x)={\int }_{-\infty }^{x}p(t)dt$$
若$F_X(x)$严格单调递增且存在逆函数$F_X^{-1}(y)$，则对$u\sim U(0,1)$，令$x=F_X^{-1}(u)$，可证明$x\sim p(x)$。

采样步骤

1. 计算目标分布$p(x)$的累积分布函数$F_X(x)$；
2. 求解$F_X(x)$的逆函数$F_X^{-1}(y)$（需确保逆函数存在且可显式表达）；
3. 生成$u\sim U(0,1)$，通过$x=F_X^{-1}(u)$得到目标样本$x$；
4. 重复步骤3，得到独立同分布的样本$\{x_1,x_2,...,x_N\}$。

示例：指数分布的逆变换采样

指数分布的概率密度函数为$p(x)=\lambda e^{-\lambda x}$（$x\ge 0$，$\lambda >0$），其CDF为：
$$F_X(x)=1-e^{-\lambda x}$$
求解逆函数：令$y=1-e^{-\lambda x}$，解得$x=-\frac{1}{\lambda }\ln (1-y)$。
由于$u\sim U(0,1)$与$1-u\sim U(0,1)$分布相同，可简化为$x=-\frac{1}{\lambda }\ln (u)$。

局限性

• 仅适用于一维分布，高维分布的CDF难以计算且逆函数不存在；
• 部分分布的CDF或逆函数无法显式表达（如正态分布）。

3. 拒绝采样（Rejection Sampling）

拒绝采样解决了“逆变换采样无法处理CDF无显式逆函数”的问题，核心是通过建议分布$q(x)$和接受概率筛选样本，最终得到目标分布$p(x)$的样本。

核心原理

1. 选择一个易于采样的建议分布$q(x)$（如正态分布、均匀分布），并找到常数$M$使得$M\cdot q(x)\ge p(x)$对所有$x$成立（$M$是$p(x)/q(x)$的上界）；
2. 生成建议样本$x\sim q(x)$和均匀样本$u\sim U(0,1)$；
3. 若$u\le \frac{p(x)}{M\cdot q(x)}$，则接受$x$作为目标样本；否则拒绝$x$，重复步骤2-3。

关键公式

• 接受概率：$\alpha (x)=\frac{p(x)}{M\cdot q(x)}$（需满足$\alpha (x)\le 1$，由$M$的定义保证）；
• 采样效率：接受概率的期望$E_{q(x)}[\alpha (x)]=\frac{1}{M}\int \frac{p(x)}{q(x)}q(x)dx=\frac{1}{M}$，因此$M$越小，采样效率越高。

采样步骤

1. 确定目标分布$p(x)$和建议分布$q(x)$，计算$M={\max }_x\frac{p(x)}{q(x)}$；
2. 生成$x\sim q(x)$，生成$u\sim U(0,1)$；
3. 判断：若$u\le \frac{p(x)}{Mq(x)}$，接受$x$；否则拒绝，返回步骤2；
4. 重复步骤2-3，直到收集到足够数量的目标样本。

局限性

• 高维场景下，$M$会急剧增大，导致接受概率趋近于0，采样效率极低；
• 建议分布$q(x)$的选择依赖经验，若$q(x)$与$p(x)$差异大，会大量拒绝样本。

蒙特卡洛马尔可夫链（MCMC）采样

当目标分布是高维、复杂分布（如贝叶斯模型的后验分布$p(\theta |D)$构建一个就是）时，基本采样方式失效，此时需依赖蒙特卡洛马尔可夫链（MCMC）方法。其核心马尔可夫链，使链的平稳分布恰好等于目标分布$p(x)$，经过运行链得到的样本近似目标分布。

1. MCMC的核心概念

（1）马尔可夫链（Markov Chain）

一个随机过程$\{X_0,X_1,...,X_t\}$若满足马尔可夫性：$P(X_{t+1}=x^{\prime }|X_0,X_1,...,X_t)=P(X_{t+1}=x^{\prime }|X_t=x)$，则称为马尔可夫链。其中$P(x^{\prime }|x)$是转移概率矩阵（离散情况）或转移核（连续情况）。

（2）平稳分布（Stationary Distribution）

若存在分布$\pi (x)$，使得对任意$t$，有$\pi (x^{\prime })=\int \pi (x)P(x^{\prime }|x)dx$，则$\pi (x)$是马尔可夫链的平稳分布。此时链达到“稳态”，后续样本均服从$\pi (x)$。

（3）细致平稳条件（Detailed Balance Condition）

若转移核$P(x^{\prime }|x)$满足：对任意$x,x^{\prime }$，有$\pi (x)P(x^{\prime }|x)=\pi (x^{\prime })P(x|x^{\prime })$，则$\pi (x)$是马尔可夫链的平稳分布。这是MCMC构建转移核的核心依据——只要满足该条件，链的平稳分布就是目标分布。

2. Metropolis-Hastings（MH）算法

MH算法是最经典的MCMC方法，通过“ proposal + 接受-拒绝”机制构建满足细致平稳条件的转移核，适用于任意目标分布$p(x)$。

核心思想

1. 给定当前样本$x_t$，从 proposal 分布$Q(x^{\prime }|x_t)$（如正态分布$N(x_t,{\sigma }^2)$）生成候选样本$x^{\prime }$；
2. 计算接受概率$\alpha (x^{\prime }|x_t)$，确保转移核满足细致平稳条件；
3. 生成$u\sim U(0,1)$，若$u\le \alpha (x^{\prime }|x_t)$，则$x_{t+1}=x^{\prime }$；否则$x_{t+1}=x_t$；
4. 重复迭代，待链收敛后，收集的样本$\{x_T,x_{T+1},...\}$（$T$为 burn-in 期）服从目标分布$p(x)$。

关键公式

• 接受概率：
  $$\alpha (x^{\prime }|x_t)=\min \left(1,\frac{p(x^{\prime })Q(x_t|x^{\prime })}{p(x_t)Q(x^{\prime }|x_t)}\right)$$
  若 proposal 分布对称（即$Q(x^{\prime }|x)=Q(x|x^{\prime })$，如正态分布$N(x,{\sigma }^2)$），则接受概率简化为：
  $$\alpha (x^{\prime }|x_t)=\min \left(1,\frac{p(x^{\prime })}{p(x_t)}\right)$$

采样步骤

1. 初始化：选择初始样本$x_0$，设置迭代次数$N$和 burn-in 期$T$；
2. 迭代（$t=0$到$N-1$）：
   • 生成候选样本$x^{\prime }\sim Q(x^{\prime }|x_t)$；
   • 计算接受概率$\alpha =\min \left(1,\frac{p(x^{\prime })Q(x_t|x^{\prime })}{p(x_t)Q(x^{\prime }|x_t)}\right)$；
   • 生成$u\sim U(0,1)$，若$u\le \alpha$，则$x_{t+1}=x^{\prime }$；否则$x_{t+1}=x_t$；
3. 收敛判断：通过样本的“自相关性”（如相邻样本的相关系数趋近于0）判断链是否收敛；
4. 收集样本：丢弃前$T$个样本（burn-in 期，消除初始值影响），剩余样本$\{x_T,...,x_{N-1}\}$即为目标分布样本。

注意事项

• burn-in 期：链的初始样本受$x_0$影响，需丢弃前$T$个样本以确保后续样本服从平稳分布；
• 自相关性：MCMC样本存在相关性（后一个样本依赖前一个），可利用“ thinning”（每隔$k$个样本保留1个）降低相关性；
• proposal 分布选择：$\sigma$（如正态 proposal 的方差）过大易导致接受概率低，过小易导致链收敛慢，需利用经验调整。

Gibbs采样

MH算法的就是Gibbs采样特例，适用于高维目标分布$p(x_1,x_2,...,x_d)$，且每个变量的条件分布$p(x_i|x_{-i})$（$x_{-i}$表示除$x_i$外的所有变量）易于采样的场景。其核心是凭借“逐变量更新”避免接受-拒绝步骤，提升采样效率。

1. 核心原理

对于$d$维目标分布$p(x_1,...,x_d)$，Gibbs采样的转移核依据逐变量采样构建：

1. 给定当前样本$x_t=(x_{t,1},x_{t,2},...,x_{t,d})$；
2. 依次更新每个变量：
   • 从$p(x_1|x_{t,2},...,x_{t,d})$采样得到$x_{t+1,1}$；
   • 从$p(x_2|x_{t+1,1},x_{t,3},...,x_{t,d})$采样得到$x_{t+1,2}$；
   • …
   • 从$p(x_d|x_{t+1,1},...,x_{t+1,d-1})$采样得到$x_{t+1,d}$；
3. 新样本$x_{t+1}=(x_{t+1,1},...,x_{t+1,d})$。

该转移核天然满足细致平稳条件，且接受概率为1（无需拒绝样本），因此采样效率远高于MH算法。

2. 采样步骤

1. 初始化：
   • 确定高维目标分布$p(x_1,x_2,...,x_d)$；
   • 验证每个变量的条件分布$p(x_i|x_{-i})$是否易于采样（如条件分布为正态、均匀、指数等）；
   • 选择初始样本$x_0=(x_{0,1},...,x_{0,d})$，设置迭代次数$N$和 burn-in 期$T$。
2. 迭代（$t=0$到$N-1$）：
   • 更新$x_1$：$x_{t+1,1}\sim p(x_1|x_{t,2},x_{t,3},...,x_{t,d})$；
   • 更新$x_2$：$x_{t+1,2}\sim p(x_2|x_{t+1,1},x_{t,3},...,x_{t,d})$；
   • …
   • 更新$x_d$：$x_{t+1,d}\sim p(x_d|x_{t+1,1},x_{t+1,2},...,x_{t+1,d-1})$；
   • 令$x_{t+1}=(x_{t+1,1},...,x_{t+1,d})$。
3. 收敛判断：通过单变量样本的自相关性或边际分布的稳定性（如样本均值不再变化）判断收敛。
4. 收集样本：丢弃前$T$个样本，剩余样本$\{x_T,...,x_{N-1}\}$服从目标分布$p(x_1,...,x_d)$。

3. 示例：二维正态分布的Gibbs采样

假设目标分布为二维正态分布$p(x_1,x_2)\sim \mathcal{N}(\mu ,\Sigma )$，其中：
$$\mu =\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\end{array}\right),\Sigma =\left(\begin{array}{cc}{\sigma }_{11}& {\sigma }_{12}\\ {\sigma }_{21}& {\sigma }_{22}\end{array}\right)$$
根据正态分布的性质，条件分布为：

• $p(x_1|x_2)\sim \mathcal{N}\left({\mu }_1+\frac{{\sigma }_{12}}{{\sigma }_{22}}(x_2-{\mu }_2),{\sigma }_{11}-\frac{{\sigma }_{12}^2}{{\sigma }_{22}}\right)$；
• $p(x_2|x_1)\sim \mathcal{N}\left({\mu }_2+\frac{{\sigma }_{21}}{{\sigma }_{11}}(x_1-{\mu }_1),{\sigma }_{22}-\frac{{\sigma }_{21}^2}{{\sigma }_{11}}\right)$。

采样过程

1. 初始化$x_{0,1}={\mu }_1$，$x_{0,2}={\mu }_2$；
2. 迭代$t=0$：
   • 从$p(x_1|x_{0,2})$采样得到$x_{1,1}$；
   • 从$p(x_2|x_{1,1})$采样得到$x_{1,2}$；
3. 重复迭代，待收敛后收集样本。

4. 优缺点

优点

• 无需接受-拒绝步骤，采样效率高；
• 高维场景下，仅需处理低维条件分布，计算量小；
• 达成简单，无需调整proposal分布参数。

缺点

• 依赖条件分布的可采样性，若$p(x_i|x_{-i})$麻烦，则无法使用；
• 变量间相关性强时，链收敛速度慢（需更多迭代才能达到平稳分布）。

总结

本文从“简单到复杂”梳理了模式识别与机器学习中的核心采样方式，各方法的适用场景对比如下：

采样方法	适用场景	核心优势	核心局限
均匀采样	基础组件、简单随机实验	完成容易、样本独立	仅适用于均匀分布
逆变换采样	一维、CDF逆函数显式的分布	样本独立、无拒绝步骤	高维不适用、依赖CDF逆函数
拒绝采样	一维/低维、CDF无逆函数的分布	适用范围比逆变换广	高维效率低、依赖建议分布
MH算法	高维、复杂分布	适用任意分布	存在拒绝步骤、自相关性强
Gibbs采样	高维、条件分布易采样的分布	无拒绝步骤、效率高	依赖条件分布可采样性

实际应用中，需根据目标分布的维度、结构及计算成本选择合适的采样技巧。