左手中倒影

hadoop技术控 大数据解决方案 hanlp研究爱好者
  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

11 2018 档案

hanlp中文智能分词自动识别文字提取实例

摘要：需求：客户给销售员自己的个人信息，销售帮助客户下单，此过程需要销售人员手动复制粘贴收获地址，电话，姓名等等，一个智能的分词系统可以让销售人员一键识别以上各种信息 经过调研，找到了一下开源项目 1、word 分词器 2、ansj 分词器 3、mmseg4j 分词器 4、ik-analyzer 分词器 阅读全文

posted @ 2018-11-30 11:00 左手中倒影 阅读(255) 评论(0) 推荐(0)

Hanlp在java中文分词中的使用介绍

摘要：项目结构 该项目中，.jar和data文件夹和.properties需要从官网/github下载，data文件夹下载 项目配置 修改hanlp.properties: 1 #/Test/src/hanlp.properties: 2 #本配置文件中的路径的根目录 3 #root=E:/SourceC 阅读全文

posted @ 2018-11-30 10:59 左手中倒影 阅读(3175) 评论(0) 推荐(0)

自然语言处理怎么最快入门？

摘要：自然语言处理说白了，就是让机器去帮助我们完成一些语言层面的事情，典型的比如：情感分析、文本摘要、自动问答等等。我们日常场景中比较常见到的类似Siri、微软小冰之类的，这些的基础都是自然语言处理，另外还有一些语音处理，这就暂且不表了。总之，你看到的机器与人利用语言交互，用机器模拟人脑阅读，对话，评论等等这些的基础都是自然语言处理的范畴之内。 阅读全文

posted @ 2018-11-28 09:42 左手中倒影 阅读(217) 评论(0) 推荐(0)

目前常用的自然语言处理开源项目/开发包大汇总

摘要：中文主要有：NLTK，FoolNLTK，HanLP（java版本），pyhanlp（python版本），Ansj，THULAC，结巴分词，FNLP，哈工大LTP，中科院ICTCLAS分词，GATE，SnowNLP，东北大学NiuTrans，NLPIR，； 阅读全文

posted @ 2018-11-26 09:59 左手中倒影 阅读(567) 评论(0) 推荐(0)

pyhanlp 文本聚类详细介绍

摘要：文本聚类简单点的来说就是将文本视作一个样本，在其上面进行聚类操作。但是与我们机器学习中常用的聚类操作不同之处在于。 阅读全文

posted @ 2018-11-23 09:03 左手中倒影 阅读(659) 评论(0) 推荐(0)

Spring Boot中对自然语言处理工具包hanlp的调用详解

摘要：HanLP 是基于 Java开发的 NLP工具包，由一系列模型与算法组成，目标是普及自然语言处理在生产环境中的应用。而且 HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点，因此十分好上手，本文就结合 Spring Boot来将 HanLP用起来！ 阅读全文

posted @ 2018-11-21 11:05 左手中倒影 阅读(681) 评论(0) 推荐(0)

pyhanlp 停用词与用户自定义词典功能详解

摘要：hanlp的词典模式 之前我们看了hanlp的词性标注，现在我们就要使用自定义词典与停用词功能了，首先关于HanLP的词性标注方式具体请看HanLP词性标注集。 其核心词典形式如下： 自定义词典 自定义词典有多种添加模式，首先是展示的一个小例子，展示了词汇的动态增加与强行插入，删除等。更复杂的内容请 阅读全文

posted @ 2018-11-16 09:41 左手中倒影 阅读(1060) 评论(0) 推荐(0)

Hanlp分词实例：Java实现TFIDF算法

摘要：算法介绍 最近要做领域概念的提取，TFIDF作为一个很经典的算法可以作为其中的一步处理。 关于TFIDF算法的介绍可以参考这篇博客http://www.ruanyifeng.com/blog/2013/03/tf-idf.html。 计算公式比较简单，如下： 预处理 由于需要处理的候选词大约后3w+ 阅读全文

posted @ 2018-11-14 09:33 左手中倒影 阅读(761) 评论(0) 推荐(0)

Spark应用HanLP对中文语料进行文本挖掘--聚类详解教程

摘要：软件：IDEA2014、Maven、HanLP、JDK； 用到的知识：HanLP、Spark TF-IDF、Spark kmeans、Spark mapPartition; 用到的数据集：http://www.threedweb.cn/thread-1288-1-1.html（不需要下载，已经包含在 阅读全文

posted @ 2018-11-12 10:20 左手中倒影 阅读(1044) 评论(0) 推荐(0)

自然语言处理之：搭建基于HanLP的开发环境（转）

摘要：环境搭建比FNLP的简单，具体参考：https://github.com/hankcs/HanLP 各个版本的下载：https://github.com/hankcs/HanLP/releases 完毕后有一个报错： 字符类型对应表加载失败: D:/eclipse_workspace/HanLPTe 阅读全文

posted @ 2018-11-09 09:38 左手中倒影 阅读(374) 评论(0) 推荐(0)

hanlp源码解析之中文分词算法详解

摘要：词图指的是句子中所有词可能构成的图。如果一个词A的下一个词可能是B的话，那么A和B之间具有一条路径E(A,B)。一个词可能有多个后续，同时也可能有多个前驱，它们构成的图我称作词图。 阅读全文

posted @ 2018-11-07 10:23 左手中倒影 阅读(1335) 评论(0) 推荐(0)

HanLP 关键词提取算法分析详解

摘要：HanLP 关键词提取算法分析详解 l 参考论文：《TextRank: Bringing Order into Texts》 l TextRank算法提取关键词的Java实现 l TextRank算法自动摘要的Java实现这篇文章中作者大概解释了一下TextRank公式 1. 论文 In this 阅读全文

posted @ 2018-11-05 09:52 左手中倒影 阅读(1538) 评论(0) 推荐(0)

HanLP用户自定义词典源码分析详解

摘要：HanLP作者在HanLP issue783:上面说：词典不等于分词、分词不等于自然语言处理；推荐使用语料而不是词典去修正统计模型。由于分词算法不能将一些“特定领域”的句子分词正确，于是为了纠正分词结果，把想要的分词结果添加到自定义词库中，但最好使用语料来纠正分词的结果。另外，作者还说了在以后版本中不保证继续支持动态添加自定义词典。以上是阅读源码过程中的一些粗浅理解，仅供参考。 阅读全文

posted @ 2018-11-02 10:43 左手中倒影 阅读(308) 评论(0) 推荐(0)