摘要：一、基于二元语法模型分词的思想下面是该程序的主要过程与思路：1、针对语料库进行训练。本程序使用的是北大提供的人民日报1998 年1 月的语料库，包含约110万词。由于采用二元语法模型，所以需要计算语料库中单个词的频率，以及每一个词后面出现另一个词的频率。2、建立二元切分词图。 建立一个有向无环图，图中的结点为任意一个可能的候选词语，图中的边代表相邻两个词语的续接关系。二元切分词图的每一条边的权值表示二元词语转移概率P(Wi|Wi-1)。任何一种切分的方式可以表示为二元切分词图上的一条起始结点到结束结点的路径。路径上所有边的概率之积就是该切分结果对应的二元语法模型概率。而我们要做的就是找出一条概 阅读全文

摘要：之前安装Eclipse，JDK，Python什么的就不说了。直接从安装PyDev开始（借用了几张别人的图）：打开Eclipse，在Help菜单中，选择Install New Software···，选择Add按钮，Name：PyDev（这个随便起），Location：http://pydev.org/updates（PyDev的更新地址），OK选择PyDev下的PyDev for Eclipse，别的都不要选，否则依赖检查那关过不去。点下一步，下一步安装中间会问你是否信任Aptana、Pydev什么的，信任就可以了最后重启Eclipse配置PyDev插件在Wind 阅读全文