摘要: IK 字段级别词典的升级之路 背景知识:词库的作用 IK 分词器是一款基于词典匹配的中文分词器,其准确性和召回率与 IK 使用的词库也有不小的关系。 这里我们先了解一下词典匹配法的作用流程: 预先准备一个大规模的词典,用算法在文本中寻找词典里的最长匹配项。这种方法实现简单且速度快。 但面临歧义切分和未登录词挑战:同一序列可能有不 阅读全文
posted @ 2025-07-31 23:02 极限实验室 阅读(15) 评论(0) 推荐(0)