文本分词

1.正向/逆向最大匹配法

 

 2.NLP概率图：HMM针对中文分词应用——Viterbi算法

统计学思想：Viterbi算法找出一条概率最大路径（最短的马尔科夫链）

 jieba支持三种分词：

  • 固有分词
  • 繁体分词
  • 自定义词典

 

posted @ 2021-04-22 09:50  柒久酒  阅读(54)  评论(0)  编辑  收藏  举报