摘要：最大熵工具包的使用 最大熵是自然语言处理中经常用到的一种统计方法。网上也有很多最大熵方面的工具包，目前大家用得最多的应该是张乐博士写的最大熵工具包了。该工具包既可以采用命令行形式运行，也可以直接调用接口函数，为大家的研究工作带来了很大的方便。但是，对于刚接触到该工具包的人来说，使用起来还是有些麻烦的。一、命令行形式使用方法 1、利用命令行形式，首先要准备好特征文件。特征文件的格式在最大熵工具包的使用说明书（manual20041229.pdf）的P24。特征文件中，一行就是一个事件（event），其格式首先是该event对应的类别label，然后是特征feature，两者都是string类型的 阅读全文

摘要：自然语言处理：最大熵和对数线性模型Natural Language Processing: Maximum Entropy and Log-linear Models作者：Regina Barzilay（MIT,EECS Department, October 1, 2004)译者：我爱自然语言处理（www.52nlp.cn，2009年5月9日）三、 最大熵模型详述c) 相对熵（Kullback-Liebler距离）（Relative Entropy (Kullback-Liebler Distance)）　i. 定义（Definition）：两个概率分布p和q的相对熵D由下式给出（The r 阅读全文

摘要：自然语言处理：最大熵和对数线性模型Natural Language Processing: Maximum Entropy and Log-linear Models作者：Regina Barzilay（MIT,EECS Department, October 1, 2004)译者：我爱自然语言处理（www.52nlp.cn，2009年4月29日）一、 词性标注（POS tagging）：c) 特征向量表示（Feature Vector Representation）　i. 一个特征就是一个函数f（A feature is a function f ）：　ii. 我们有m个特征fk，k = 1 阅读全文

摘要：自然语言处理：最大熵和对数线性模型Natural Language Processing: Maximum Entropy and Log-linear Models作者：Regina Barzilay（MIT,EECS Department, October 1, 2004)译者：我爱自然语言处理（www.52nlp.cn，2009年5月5日）二、 最大熵（Maximum Entropy）：b) 最大熵模型(Maximum Entropy Modeling)　iii. 约束条件（Constraint）： 每个特征的观察样本期望值与特征模型期望值相一致（observed expectatio. 阅读全文

摘要：自然语言处理：最大熵和对数线性模型Natural Language Processing: Maximum Entropy and Log-linear Models作者：Regina Barzilay（MIT,EECS Department, October 1, 2004)译者：我爱自然语言处理（www.52nlp.cn，2009年4月25日）上一讲主要内容回顾（Last time）：* 基于转换的标注器（Transformation-based tagger）* 基于隐马尔科夫模型的标注器（HMM-based tagger）遗留的内容（Leftovers）:a) 词性分布（POS dis 阅读全文

摘要：最大熵模型（Maximum Entropy Model）是一种机器学习方法，在自然语言处理的许多领域（如词性标注、中文分词、句子边界识别、浅层句法分析及文本分类等）都有比较好的应用效果。张乐博士的最大熵模型工具包manual里有“Further Reading”，写得不错，就放到这里作为最大熵模型文献阅读指南了。 与《统计机器翻译文献阅读指南》不同，由于自己也正在努力学习Maximum Entropy Model中，没啥发言权，就不多说废话了。这些文献在Google上很容易找到，不过多数都比较长（30多页），甚至有两篇是博士论文，有100多页，希望初学读者不要被吓住了，毕竟经典的东西是值得反复 阅读全文

摘要：热力学统计物理中有熵增加原理，在信息论中也有对应的关于信息熵的著名定理――最大信息熵原理。在很多情况下，对一些随机事件，我们并不了解其概率分布，所掌握的只是与随机事件有关的一个或几个随机变量的平均值。例如，我们只知道一个班的学生考试成绩有三个分数档：80分、90分、100分，且已知平均成绩为90分。显然在这种情况下，三种分数档的概率分布并不是唯一的。因为在下列已知条件限制下（平均成绩）（概率归一化条件）有无限多组解，该选哪一组解呢？即如何从这些相容的分布中挑选出“最佳的”、“最合理”的分布来呢？这个挑选标准就是最大信息熵原理。按最大信息熵原理，我们从全部相容的分布中挑选这样的分布，它是在某些约 阅读全文