2019 年 2月随笔档案 - 左手中倒影

开源自然语言处理工具包hanlp中CRF分词实现详解

摘要：CRF是序列标注场景中常用的模型，比HMM能利用更多的特征，比MEMM更能抵抗标记偏置的问题。阅读全文

posted @ 2019-02-27 09:45 左手中倒影阅读(579) 评论(0) 推荐(0)

hanlp和jieba等六大中文分工具的测试对比

摘要：本篇文章测试的哈工大LTP、中科院计算所NLPIR、清华大学THULAC和jieba、FoolNLTK、HanLP这六大中文分词工具是由水...琥珀完成的。相关测试的文章之前也看到过一些，但本篇阐述的可以说是比较详细的了。这里就分享一下给各位朋友！安装调用 jieba“结巴”中文分词：做最好的阅读全文

posted @ 2019-02-25 11:21 左手中倒影阅读(3628) 评论(0) 推荐(1)

Java利用hanlp完成语句相似度分析的案例详解

摘要：在做考试系统需求时，后台题库系统提供录入题目的功能。在录入题目的时候，由于题目来源广泛，且参与录入题目的人有多位，因此容易出现录入重复题目的情况。所以需要实现语句相似度分析功能，从而筛选出重复的题目并人工处理之。阅读全文

posted @ 2019-02-22 10:19 左手中倒影阅读(2194) 评论(0) 推荐(0)

pyhanlp文本分类与情感分析

摘要：语料库本文语料库特指文本分类语料库，对应IDataSet接口。而文本分类语料库包含两个概念：文档和类目。一个文档只属于一个类目，一个类目可能含有多个文档。比如搜狗文本分类语料库迷你版.zip，下载前请先阅读搜狗实验室数据使用许可协议。用Map描述这种关系可以用Java的Map<String, 阅读全文

posted @ 2019-02-20 14:24 左手中倒影阅读(487) 评论(0) 推荐(0)

自然语言处理工具hanlp关键词提取图解TextRank算法

摘要：TextRank是在Google的PageRank算法启发下，针对文本里的句子设计的权重算法，目标是自动摘要。它利用投票的原理，让每一个单词给它的邻居（术语称窗口）投赞成票，票的权重取决于自己的票数。这是一个“先有鸡还是先有蛋”的悖论，PageRank采用矩阵迭代收敛的方式解决了这个悖论。本博文通过hanlp关键词提取的一个Demo，并通过图解的方式来讲解TextRank的算法。阅读全文

posted @ 2019-02-20 09:34 左手中倒影阅读(806) 评论(0) 推荐(0)

Hanlp分词之CRF中文词法分析详解

摘要：这是另一套基于CRF的词法分析系统，类似感知机词法分析器，提供了完善的训练与分析接口。 CRF的效果比感知机稍好一些，然而训练速度较慢，也不支持在线学习。默认模型训练自OpenCorpus/pku98/199801.txt，随hanlp 1.6.2以上版本发布。语料格式等与感知机词法分析器相同，阅读全文

posted @ 2019-02-18 14:43 左手中倒影阅读(1744) 评论(0) 推荐(0)