2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记

2.2 Multinomial variables多项变量的分布

    考虑多项变量即K个互斥变量(可能取值)，使用1-of-K方式表示为K维向量x，其中某个向量x_k=1，且其他向量=0。例如某个变量发生，对应向量为x₃，则x₃=1 ：

        

    x_k=1发生的概率为μ_k，那么x的分布为：

        

    这里，且，该分布可以看作是Bernoulli分布多输出的普遍形式，很明显上式是归一化的normalized：

        

        

    考虑N个独立观测值 {x1,…,xN} 数据集D, 对应的似然函数：

        

    其中：

        

    代表x_k=1在D中发生次数。这是都是该分布的完全统计sufficient statistics。

    2.29的限制条件是，那么可以使用拉格朗日乘子法对lnp(D|μ),转换为最大化下式：

        

    基于μ_k求导等于0，得到：

            

    将该式代入，有 λ=-N，由此我们得到μ的最大似然解：

            

Multinomial distribution多项分布    

接下来我们考虑m₁,m₂,…,m_K的联合分布，从2.29式，我们可以得到：

    

这就是多项分布归一化系数：

        

变量m_k 受限于：

        

2.21 The Dirichlet distribution

    引入2.34式的先验的相似分布，共轭先验的形式应该是：

                

    这里，，对于3维来说，由于受限于总和，自由变量只有二维，所以k维变量就被限制在k-1维空间。如下图，取值限于一个平面，可以将这个平面投影到二维平面：

    

    

α₁,…, α_K 是分布的参数，α=(α₁,…, α_K)^T,2.37式的归一化形式：

        

    其中：

            

    该分布就是Dirichlet distribution，该分布是连续多变量分布，是多变量普遍化的Beta分布。狄利克雷分布奠定了狄利克雷过程的基础，被广泛应用于自然语言处理特别是主题模型（topic model）的研究。下图是一个3变量分布：

    将先验2.38与相似函数2.34相乘，有：

        

    看得出，后验同样是一个Dirichlet分布，归一化系数，得到后验：