你应该掌握的四种參数预计技术

所谓预计

概率学上，对未知的概率密度函数进行预计有两种方法：參数预计和非參数预计。非參数预计是不假定数学模型。直接利用已知类别的学习样本先验知识预计数学模型。经常使用的方法由直方图方法、神经网络方法、Parzen窗法和Kn近邻法。

而參数预计则是先假定研究问题具有某种数学模型，如正态分布、二项分布等。再利用已知类别的学习样本，预计模型里的參数。经常使用的方法有距预计、最大似然预计、最大后验预计和贝叶斯预计。

本文主要介绍四种经常使用的參数预计技术。

參数预计

1. 距预计
用样本矩作为相应整体矩的预计量，而以样本矩的连续函数作为相应的整体矩的连续函数的预计量。用数学公式描写叙述矩预计的过程为：

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪μ1=μ1(θ1,θ2,...,θk)μ2=μ2(θ1,θ2,...,θk)......μk=μk(θ1,θ2,...,θk)⎫⎭⎬⎪⎪⎪⎪⎪⎪⎪⎪

从中解出參数

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪θ1=θ1(μ1,μ2,...,μk)θ2=θ2(μ1,μ2,...,μk)......θk=θk(μ1,μ2,...,μk)⎫⎭⎬⎪⎪⎪⎪⎪⎪⎪⎪

当中。θ1,θ2,...,θk是k个待估參数， μ1,μ2,...,μk是整体k阶矩。先用已知样本，计算k阶样本矩，公式为：

Al=∑Ni=1XliN

然后用计算得到的k阶样本矩来作为对整体矩的预计，带入方程得到相应的矩预计：

θ¯l=θi(A1,A2,...,Ak)

2. 最大似然预计（MLE）
样本X1,X2,...,Xn来自整体X，整体的概率密度为P{X=x}=p(x;θ)或f(x;θ)。

当中θ∈Θ的形式已知。θ为待估參数。得到其似然函数为：

L(θ)=L(x1,x2,...,xn;θ)=∏i=1nf(xi;θ)

那么，当L(x1,x2,...,xn;θ)在θ∈Θ中取得最大值时，即公式描写叙述为：

L(x1,x2,...,xn;θ¯)=maxθ∈ΘL(x1,x2,...,xn;θ)

θ¯就是θ的最大似然预计θ¯(x1,x2,...,xn)。在应用中经常採用对数形式给出对数似然方程。在计算中，令dL(θ)dθ=0或者dlogL(θ)dθ=0，得到最大值处的θ就是最大似然预计。

3. 最大后验预计（MAP）
最大似然预计没有考虑θ的概率分布，或者觉得θ的概率分布在θ∈Θ上式均匀分布的。在贝叶斯学派看来。θ也是随机变量。有着一定的先验概率。因此假设不加以考虑，预计结果会出现较大的误差。

最大后验预计的表达式为：

p(θ|x1,x2,...,xn)=p(x1,x2,...,xn|θ)×p(θ)∑i{p(x1,x2,...,xn|θi)×p(θi)}=L(x1,x2,...,xn|θ)×p(θ)const

公式能够等效为：

后验概率=(似然度×先验概率)标准化常量=标准似然度×先验概率

4. 贝叶斯预计
贝叶斯预计也是基于后验概率公式。但引入了损失函数作为推断的标准。贝叶斯预计得一般步骤为

• 选择先验概率分布。设为π(θ)
• 确定似然函数。

• 确定參数θ的后验分布。
• 选择损失函数。
  引入一个非负函数。记为loss(θ^,θ)来刻画參数真实值θ与预计值θ^的差距严重程度，称为损失函数。经常使用的损失函数有：平方误差损失函数
• 预计參数。
  依据选择的损失函数的期望误差最小值相应的解θ^作为參数的贝叶斯预计值。以平方误差损失函数为例。贝叶斯预计给定X时的条件期望为：
  
  θ^=E[θ|X]=∫θp(θ|X)dθ

---

2015-8-22
艺少