【转载】多项式分布

http://blog.csdn.net/v1_vivian/article/details/52055760

 

我们知道，对于伯努利分布，我们采用Logistic回归建模。那么我们应该如何处理多分类问题？（比如要进行邮件分类；预测病情属于哪一类等等）。对于这种多项式分布我们使用softmax回归建模。

 

多项式分布的目标值yε{1,2,3,...,k}；（其中是类别种数）其概率分布为：

因为

，

 

所以我们可以只保留k-1个参数，得到：

为了将多项式分布能够写成指数分布族的形式，先引入T(y)，它是一个k-1维的向量，如下所示：

                                     

引入指示函数I，使得

 

这样，T(y)向量中的某个元素就可以表示为：

 

根据上式，我们还可以得到：

联合分布的概率密度函数为：于是，多项分布转变为指数分布族的推导如下：

 

 

对照指数分布族形式，上式可得到：

因为有：

 

，

 

可得到：

将上式代入

得：

 

 

假设函数h如下：

 

根据假设函数h求得参数θ，最大似然函数如下：

 

对上式取对数，得到如下最大似然函数对数为：

                                                                      

然后，将

 

 

 

代入上式。

 

再通过牛顿法或梯度下降法求得参数θ，再假设函数h对新的样例进行预测，即可完成多分类任务。