随笔分类 -  中文文本分类

自然语言处理相关知识点链接
摘要：1、完全图解RNN、RNN变体、Seq2Seq、Attention机制 "相关知识点可以去看" 2、自然语言处理中的Attention机制总结 "相关知识点可以去看" 阅读全文
posted @ 2019-06-24 20:47 宁小静 阅读(239) 评论(0) 推荐(0)
解析搜狗实验室精简版数据
摘要：1、要预处理xml文件，解决docs,url,content标签问题。主要代码是deal_label.py 存入数据文件夹是sougou_label_after SogouCS.reduced：存放原始的txt； sougou_label_after：解决docs,url,content标签问题 2 阅读全文
posted @ 2019-04-26 17:09 宁小静 阅读(1366) 评论(0) 推荐(0)
中文文本预处理及表示
摘要：文本分类 一、建立语料库 文本数据的获取方法一般有两种： 使用别人做好的语料库 爬虫去获取自己的预料数据 二、文本预处理 1、 除去数据中非文本部分 一般可以使用正则表达式去进行删除 2、 处理中文编码问题 由于python2不支持unicode的处理，因此使用python2做中文文本预处理需要遵循 阅读全文
posted @ 2019-04-11 21:04 宁小静 阅读(2279) 评论(0) 推荐(0)