2019年4月3日
jieba和文本词频统计
摘要： 恢复内容开始 一、结巴中文分词涉及到的算法包括： (1) 基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)； (2) 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合； (3) 对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Vit 阅读全文
posted @ 2019-04-03 22:58 ysd将暮未暮 阅读(601) 评论(0) 推荐(0)
汉诺塔
摘要： 一、结巴中文分词涉及到的算法包括： (1) 基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)； (2) 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合； (3) 对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法。 阅读全文
posted @ 2019-04-03 22:54 ysd将暮未暮 阅读(231) 评论(0) 推荐(0)