KDE 简介

假设 \(x_1, x_2, \dots, x_n\) 是来自未知概率密度函数 \(f\) 的独立同分布样本。我们要根据这些样本估计 \(f\)。

当样本量\(n\)固定的时候，我们定义出一个\(h_n\)，同时从\(f\)中抽取\(n\)个样本，得到估计函数\(\hat{f}_{h_n}(x)\)

KDE 的估计函数 \(\hat{f}_{h_n}(x)\) 定义为：

\[\hat{f}_{h_n}(x) = \frac{1}{nh_n} \sum_{i=1}^{n} K\left(\frac{x - x_i}{h_n}\right) \]

其中：

• \(n\)：样本数量。
• \(K(\cdot)\)：核函数 (Kernel Function)。
• \(h_n\)：带宽 (Bandwidth)，也称为平滑参数。

对每一个固定的\(n\)，如果我们固定\(x\)，那么估计函数就是一个随机变量（每抽取\(n\)个样本就可以得到不同的\(x_1,x_2,...,x_n\)），所以可以算出这个随机变量的均值；如果核函数和\(h_n\)满足一定的性质，那么就可以证明估计函数的一致性，也就是对于任意 \(\epsilon > 0\)和任意\(x\)：

\[\lim_{n \to \infty} P(|\hat{f}_n(x) - f(x)| > \epsilon) = 0 \]

直观理解：用那个啥堆沙子，但是其实我觉得也不好理解；直方图能理解的原因是因为频率趋近于概率，堆沙子是什么鬼