2018 年 10月 19 日随笔档案 - 左手中倒影

Hanlp中使用纯JAVA实现CRF分词

摘要：与基于隐马尔可夫模型的最短路径分词、N-最短路径分词相比，基于条件随机场（CRF）的分词对未登录词有更好的支持。本文（HanLP）使用纯Java实现CRF模型的读取与维特比后向解码，内部特征函数采用双数组Trie树(DoubleArrayTrie)储存，得到了一个高性能的中文分词器。阅读全文

posted @ 2018-10-19 10:22 左手中倒影阅读(430) 评论(0) 推荐(0)