随笔分类 - 自然语言处理学习之路
摘要:一、 什么是StandfordParser?StandfordParser是Stanford NLP小组提供的一系列工具之一,是用来完成语法分析的任务。StanfordParser可以找出句子中词语之间的dependency关联信息,并且以StanfordDependency格式输出,包括有向图及树...
阅读全文
摘要:启发式规则: 1.如果正反向分词结果词数不同,则取分词数量较少的那个。 2.如果分词结果词数相同 a.分词结果相同,就说明没有歧义,可返回任意一个。 b.分词结果不同,返回其中单字较少的那个。算法描述:S1为带切分字符串,FMM为S1正向最大匹配切分结果,BMM为S1逆向最大匹配切分结果如果FMM和...
阅读全文
摘要:算法描述:S1为带切分字符串,S2为空,MaxLen为词典中的最大词长判断S1是否为空,若是则输出S2从S1右边开始,取出待处理字符串str(其中str的长度小于MaxLen)查看str是否在词典中,若是则转5,若否则转6S2+=str+”/”,S1-=str,转2将str最左边的一个字去掉判断st...
阅读全文
摘要:算法描述:S1为带切分字符串,S2为空,MaxLen为词典中的最大词长判断S1是否为空,若是则输出S2从S1左边开始,取出待处理字符串str(其中str的长度小于MaxLen)查看str是否在词典中,若是则转5,若否则转6S2+=str+”/”,S1-=str,转2将str最右边的一个字去掉判断st...
阅读全文

浙公网安备 33010602011771号