指数族函数

指数族函数

待完善
作者查阅了一些资料，全是公式函数名也陌生，所以这部分一直进行不下去。其实不用怕，只是提出了一类分布，这一类分布遵循着一些性质，具体推导过程甚至可以不了解，直接拿着结论用。通过这些特点你可以根据极大似然估计求损失函数。

表达式

常见形式

\[p(y|\lambda) = \frac{1}{Z(\lambda)}h(x)e^{\phi(\lambda)^TT(y)} \]

变形

令\(g(\lambda) = \frac{1}{Z(\lambda)}\)

得\(p(y|\lambda) = g(\lambda)h(x)e^{\phi(\lambda)^TT(y)}\)

令\(A(\lambda) = \ln Z(\lambda)\)

得\(p(y|\lambda) = h(x)e^{\phi(\lambda)^TT(y) - A(\lambda)}\)

令 \(S(x) = \ln h(x)\) 和 \(A(\lambda) = \ln Z(\lambda)\):

得\(p(y|\lambda) = e^{\phi(\lambda)^TT(y)+S(y) - A(\lambda)}\)

标准形式

标准形式，是将参数\(\lambda\)改写成\(\theta\)，即\(\theta = \phi(\lambda)\)，得\(\lambda = \phi^{-1}(\theta)\)

\[p(y|\theta) = e^{\theta^TT(y)+S(x) - A(\theta)} \]

其中\(A(\lambda)\)与\(A(\theta)\)不是一个函数

参数解释

\(A(\lambda)\)为配分函数，只要作用归一化，比如当我们求出一个概率分布(积分不为一)