2017年8月8日
NLP之最短路径分词（五）
摘要： 动态规划 + viterbi最短路径 + 1阶马尔可夫链 最短路径分词是将可能性最大的句子切分出来。首先对句子进行全切分，找出所有可能的字词，利用动态规划生成词图，并利用1阶马尔可夫链计算出所有的路径权值，找出图中最短的路径，属于机械式规则+统计的分词方法。 在句子头尾分别加上B 和 E，找出B和E 阅读全文
posted @ 2017-08-08 23:09 hx78 阅读(1493) 评论(0) 推荐(1)
NLP之CRF分词训练（六）
摘要： 分三步1、先分词2、做BEMS标注，同时做词性标注3、训练模型 1、对语料进行分词 拿到测试部的语料或者其他渠道的语料，先对语料进行分词，我刚刚开始是用NS分词的，等CRF模型训练好后，可以直接用CRF进行分词，分完词后要人工核对分词结果，将分词分得不正确的地方修改好 2、标注词性，标注BEMS B 阅读全文
posted @ 2017-08-08 22:52 hx78 阅读(5266) 评论(1) 推荐(0)
NLP之机械分词（四）
摘要： 1、正向最大匹配算法：MaximumMatching 正：北京大学生前来应聘反：研究生命的起源1）从左向右取待切分汉语句的m个字符作为匹配字段，m为大机器词典中最长词条个数。2）查找大机器词典并进行匹配。若匹配成功，则将这个匹配字段作为一个词切分出来。若匹配不成功，则将这个匹配字段的最后一个字去掉， 阅读全文
posted @ 2017-08-08 16:14 hx78 阅读(669) 评论(0) 推荐(0)