指数族分布(Exponential Families of Distributions)

指数族分布是一大类分布，基本形式为：

T(x)是x的充分统计量（能为相应分布提供足够信息的统计量）

为了满足归一化条件，有：

可以看出，当T(x)=x时，e^A(theta)是h(x)的拉普拉斯变换。

 指数族分布的例子：

伯努利分布转换成指数族分布形式：

 单变量高斯分布的：

多变量高斯分布的：

 

A（theta）的一阶导：

A（theta）的二阶导：

说明A（theta）是凸函数

 

计算log likehood，然后对theta求导，可得

而A的二次导时大于零的，所以A的一次导是增函数，上述方程最多只有一个解。

 

共轭先验：

似然估计：

我们希望：

比如：

一些例子：