摘要: 以前写了个关于MMSEG实现的,那个写的很烂,本身我也没有实现完全。最近在工作中对原有系统的分词进行了代码重构和算法优化。并且针对电子商务网站搜索的特征,给出对于离线没有识别出歧义的片段进行全切分,而且与IK的全切分不同,同时我们还要保证路径的完整,即我们不需要找到所有的路径,但是我们要确定所有的全切分可能路径出现的词都会被切出,而IK的切法只是给出所有有意义的词,并不考虑完整路径问题,比如 “中华人民” 按照IK的切法,“中华” “华人” “人民”,而我们希望的结果是“中华,中,华人, 阅读全文
posted @ 2010-12-18 18:04 阁子 阅读(1032) 评论(0) 推荐(0) 编辑