自然语言处理常用资源笔记分享

声明:个人笔记观点,持续更新......

个人收集的自用及备用的自然语言处理相关资源,仅供学术交流
项目地址:https://github.com/junchaoIU/ChineseNLP_ResourceNote
Author:🍧 Wu, Junchao

开源Python库

项目 地址 简介
jieba分词 https://github.com/fxsjy/jieba 中文分词库
中文信息抽取工具 https://github.com/fighting41love/cocoNLP 从中文文本数据中抽取出结构化的信息,如时间、手机号、运营商、邮箱、地址、人名、身份证
LTP(Language Technology Platform) https://github.com/HIT-SCIR/ltp 提供了一系列中文自然语言处理工具,用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作
中文地址提取工具 https://github.com/shibing624/addressparser 支持中国三级区划地址(省、市、区)提取和级联映射,支持地址目的地热力图绘制。适配python2和python3
中文公司名称分词工具 https://github.com/shibing624/companynameparser 支持公司名称中的地名,品牌名(主词),行业词,公司名后缀提取
汉字数字(中文数字)-阿拉伯数字转换工具 https://github.com/Wall-ee/chinese2digits 是一个将中文数字(大写数字) 转化为阿拉伯数字的工具
HarvestText https://github.com/blmoistawinde/HarvestText 是一个专注无(弱)监督方法,能够整合领域知识(如类型,别名)对特定领域文本进行简单高效地处理和分析的库。适用于许多文本预处理和初步探索性分析任务,在小说分析,网络文本,专业文献等领域都有潜在应用价值

知识图谱相关

项目 地址 简介
文档图谱信息可视化 https://github.com/liuhuanyong/TextGrapher 输入一篇文档,将文档进行关键信息提取,进行结构化,并最终组织成图谱组织形式,形成对文章语义信息的图谱化展示。
京东GoodsKG https://github.com/liuhuanyong/ProductKnowledgeGraph 基于京东网站的商品上下级概念,商品品牌之间关系,商品描述维度等知识库,基于该知识库可以支持商品属性库构建,商品销售问答,品牌物品生产等知识查询服务,也可用于情感分析等下游应用.
思知知识图谱 https://github.com/ownthink/KnowledgeGraphData 史上最大规模1.4亿中文知识图谱开源下载,知识图谱,通用知识图谱,融合了两千五百多万的实体,拥有亿级别的实体属性关系。
stock-knowledge-graph https://github.com/lemonhu/stock-knowledge-graph (neo4j)利用网络上公开的数据构建一个小型的证券知识图谱/知识库
事件三元组抽取 https://github.com/liuhuanyong/EventTriplesExtraction 基于依存句法与语义角色标注的事件三元组抽取,可用于文本理解如文档主题链,事件线等应用。内置LTP、百度DDParser和规则模版的三种抽取方式
中文人物知识图谱构建 https://github.com/liuhuanyong/PersonRelationKnowledgeGraph 中文人物关系知识图谱项目,内容包括中文人物关系图谱构建,基于知识库的数据回标,基于远程监督与bootstrapping方法的人物关系抽取,基于知识图谱的知识问答等应用.
awesome-knowledge-graph https://github.com/husthuke/awesome-knowledge-graph 整理知识图谱相关学习资料,提供系统化的知识图谱学习路径。

语料&数据集

项目 地址 简介
ChineseNlpCorpus https://github.com/SophonPlus/ChineseNlpCorpus 搜集、整理、发布 中文 自然语言处理 语料/数据集, 包含情感/观点/评论 倾向性分析、中文命名实体识别、推荐系统、FAQ 问答系统多个领域的数据集
公司名语料库(Company-Names-Corpus) https://github.com/wainshine/Company-Names-Corpus 公司名语料库。机构名语料库。公司简称,缩写,品牌词,企业名。可用于中文分词、机构名实体识别。
微信公众号语料库 https://github.com/nonamestreet/weixin_public_corpus 部分网络抓取的微信公众号的文章,已经去除HTML,只包含了纯文本。
百度知道问答语料库 https://github.com/liuhuanyong/MiningZhiDaoQACorpus 百度知道问答语料库,包括超过580万的问题,938万的答案,5800个分类标签。基于该问答语料库,可支持多种应用,如闲聊问答,逻辑挖掘。
多语言音频数据 https://voice.mozilla.org/en/datasets 多种语言音频数据,包括来自42,000名贡献者超过1,400小时的语音样本,涵github
中文突发事件语料库 https://github.com/shijiebei2009/CEC-Corpus 中文突发事件语料库是由上海大学(语义智能实验室)所构建。根据国务院颁布的《国家突发公共事件总体应急预案》的分类体系,从互联网上收集了5类(地震、火灾、交通事故、恐怖袭击和食物中毒)突发事件的新闻报道作为生语料,然后再对生语料进行文本预处理、文本分析、事件标注以及一致性检查等处理,最后将标注结果保存到语料库中,CEC合计332篇。
dh_msra 下载地址 5 万多条中文命名实体识别标注数据(包括地点、机构、人物)

词表

项目 地址 简介
multistop https://github.com/hidadeng/multistop 停用词表,支持中英法德等15种语言

其他可能有帮助的研究

项目 地址 简介
事理知识抽取研究 https://github.com/liuhuanyong/ComplexEventExtraction 中文复合事件抽取,包括条件事件、因果事件、顺承事件、反转事件等事件抽取,并形成事理图谱。
领域情感词典构建 https://github.com/hidadeng/wordexpansion 使用SO_PMI互信息算法简单快速构建不同领域(手机、汽车等)的专业情感词典

有什么问题请致邮:wujunchaoIU@outlook.com,我会第一时间为你解答

posted @ 2021-08-18 15:43  梦淑  阅读(503)  评论(2编辑  收藏  举报