东嘉—自然语言处理

摘要： CRF(Conditional Random Field) 条件随机场是近几年自然语言处理领域常用的算法之一，常用于句法分析、命名实体识别、词性标注等。在我看来，CRF就像一个反向的隐马尔可夫模型(HMM)，两者都是用了马尔科夫链作为隐含变量的概率转移模型，只不过HMM使用隐含变量生成可观测状态，其生成概率有标注集统计得到，是一个生成模型；而CRF反过来通过可观测状态判别隐含变量，其概率亦通过标注集统计得来，是一个判别模型。由于两者模型主干相同，其能够应用的领域往往是重叠的，但在命名实体、句法分析等领域CRF更胜一筹。当然你并不必须学习HMM才能读懂CRF，但通常来说如果做自然语言处理，这两个 阅读全文

摘要： 1. 简述 最近要应用CRF模型，进行序列识别。选用了CRF++工具包，具体来说是在VS2008的C#环境下，使用CRF++的windows版本。本文总结一下了解到的和CRF++工具包相关的信息。 参考资料是CRF++的官方网站：CRF++: Yet Another CRF toolkit，网上的很多关于CRF++的博文就是这篇文章的全部或者部分的翻译，本文也翻译了一些。2. 工具包下载 第一，版本选择，当前最新版本是2010-05-16日更新的CRF++ 0.54版本，不过这个版本以前我用过一次好像运行的时候存在一些问题，网上一些人也说有问题，所以这里用的是2009-05-06: CRF++ 阅读全文