NLP - 随笔分类 - 鹏懿如斯

摘要：原文链接：http://www.one2know.cn/nlp24/ + 准备数据集：AIML数据集下载数据集并用Notepad++打开，复制到txt文件中方便打开 + 代码实现数据很少，训练轮次不多，结果不好，仅当示例阅读全文

posted @ 2019-07-16 15:23 鹏懿如斯阅读(626) 评论(0) 推荐(0)

摘要：原文链接：http://www.one2know.cn/nlp23/ + N元模型预测要输入的连续词，比如如果抽取两个连续的词汇，则称之为二元模型 + 准备工作数据集使用 Alice in Wonderland 将初始数据提取N grams 输出： + 如何实现 1.预处理：词转换为词向量 2 阅读全文

posted @ 2019-07-16 15:22 鹏懿如斯阅读(756) 评论(0) 推荐(0)

NLP（二十二）使用LSTM进行语言建模以预测最优词

摘要：原文链接：http://www.one2know.cn/nlp22/ + 预处理数据集使用Facebook上的BABI数据集将文件提取成可训练的数据集，包括：文章问题答案输出： + 如何实现 1.预处理：创建字典并将文章，问题和答案映射到词表，进一步映射成向量形式 2.模型创建和验证：训练阅读全文

posted @ 2019-07-16 15:20 鹏懿如斯阅读(722) 评论(0) 推荐(0)

NLP（二十一）根据已有文本LSTM自动生成文本

摘要：原文链接：http://www.one2know.cn/nlp21/ 根据已有文本LSTM自动生成文本 + 原理与股票预测类似，用前面的n个字符预测下一个字符 https://www.cnblogs.com/peng8098/p/keras_5.html + 代码输出：阅读全文

posted @ 2019-07-16 15:17 鹏懿如斯阅读(1299) 评论(0) 推荐(0)

NLP（二十）利用词向量实现高维词在二维空间的可视化

摘要：原文链接：http://www.one2know.cn/nlp20/ + 准备 Alice in Wonderland数据集可用于单词抽取，结合稠密网络可实现其单词的可视化，这与编码器解码器架构类似。 + 代码输出：不是二维的，为什么！！！看了两天不明白！阅读全文

posted @ 2019-07-11 20:54 鹏懿如斯阅读(821) 评论(0) 推荐(0)

NLP（十九）双向LSTM情感分类模型

摘要：原文链接：http://www.one2know.cn/nlp19/ + 使用IMDB情绪数据来比较CNN和RNN两种方法，预处理与上节相同输出： + 如何实现 1.预处理 2.LSTM模型的构建和验证 3.模型评估 + 代码输出： Using TensorFlow backend. x_tra 阅读全文

posted @ 2019-07-07 21:11 鹏懿如斯阅读(2519) 评论(0) 推荐(0)

NLP（十八）一维卷积网络IMDB情感分析

摘要：原文链接：http://www.one2know.cn/nlp18/ + 准备 Keras的IMDB数据集，包含一个词集和对应的情感标签输出： + 如何实现 1.预处理，数据整合到一个固定的维度 2.一维CNN模型的构建和验证 3.模型评估 + 代码输出： Using TensorFlow ba 阅读全文

posted @ 2019-07-07 19:21 鹏懿如斯阅读(747) 评论(0) 推荐(0)

NLP（十七）利用DNN对Email分类

摘要：原文链接：http://www.one2know.cn/nlp17/ + 数据集 scikit learn中20个新闻组，总邮件18846，训练集11314，测试集7532，类别20 输出： + 实现步骤 1. 预处理 1）去标点符号 2）分词 3）单词都转化成小写 4）去停用词 5）保留长度至少为阅读全文

posted @ 2019-07-07 10:38 鹏懿如斯阅读(340) 评论(0) 推荐(0)

NLP（十六） DL在NLP中的应用

摘要：原文链接：http://www.one2know.cn/nlp16/ + 深度学习中的核心主题是和`循环神经网络(RNN)` 卷积神经网络 + CNN用于图像处理卷积：原始图像 5×5 滤波器 3×3 滤波器以步长大于小于1，到处平移，并与原始图像里的3×3做乘积运算，得到卷积特征/激活映射( 阅读全文

posted @ 2019-07-07 10:35 鹏懿如斯阅读(492) 评论(0) 推荐(0)

NLP（十五）聊天机器人

摘要：原文链接：http://www.one2know.cn/nlp15/ + 对话引擎 1.了解目标用户 2.理解用于沟通得语言 3.了解用户的意图 4.应答用户，并给出进一步线索 + NLTK中的引擎阅读全文

posted @ 2019-07-05 16:34 鹏懿如斯阅读(399) 评论(0) 推荐(0)

NLP（十四）情感分析

posted @ 2019-07-05 16:32 鹏懿如斯阅读(932) 评论(0) 推荐(0)

NLP（十三）词义消歧

posted @ 2019-07-05 16:31 鹏懿如斯阅读(1143) 评论(0) 推荐(0)

NLP（十二）指代消解

摘要：原文链接：http://www.one2know.cn/nlp12/ + 代词是用来代替重复出现的名词例句： 1.Ravi is a boy. He often donates money to the poor. 先出现主语，后出现代词，所以流动的方向从左到右，这类句子叫回指(Anaphora) 阅读全文

posted @ 2019-07-05 16:29 鹏懿如斯阅读(3012) 评论(0) 推荐(0)

NLP（十一）提取文本摘要

摘要：原文链接：http://www.one2know.cn/nlp11/ + gensim.summarization库的函数 gensim.summarization.summarize(text, ratio=0.2, word_count=None, split=False) Parameters 阅读全文

posted @ 2019-07-05 16:28 鹏懿如斯阅读(1620) 评论(0) 推荐(0)

NLP（十）主题识别

摘要：原文链接：http://www.one2know.cn/nlp10/ + 主题识别是发现输入文本集合中存在的主题的过程 LDA算法，即狄利克雷分布算法输出：阅读全文

posted @ 2019-07-05 16:26 鹏懿如斯阅读(1020) 评论(0) 推荐(0)

NLP（九）文本相似度问题

摘要：原文链接：http://www.one2know.cn/nlp9/ + 多个维度判别文本之间相似度 1. 情感维度 Sentiment/Emotion 2. 感官维度 Sense 3. 特定词的出现 + 词频 TF 逆文本频率 IDF 构建N个M维向量，N是文档总数，M是所有文档的去重词汇量 + 余阅读全文

posted @ 2019-07-05 16:24 鹏懿如斯阅读(681) 评论(0) 推荐(0)

NLP（八）创建自然语言处理管道

摘要：原文链接：http://www.one2know.cn/nlp8/ + 一条管道可以被看作一个多阶段的数据流系统，其中一个组件的输出被视为另一个组件的输入 + 管道特点： 1. 数据始终从一个组件流向另一个组件 2. 组件是一个只考虑输入和输出数据的黑盒 + NLP管道应有的功能： 1. 采集输入数阅读全文

posted @ 2019-07-05 16:21 鹏懿如斯阅读(367) 评论(0) 推荐(0)

NLP（七）信息抽取和文本分类

posted @ 2019-07-04 14:04 鹏懿如斯阅读(4660) 评论(0) 推荐(0)

NLP（六）分块、句法分析、依存分析

posted @ 2019-07-03 15:49 鹏懿如斯阅读(4467) 评论(0) 推荐(1)

NLP（五）词性标注和文法

摘要：原文链接：http://www.one2know.cn/nlp5/ + NLTK内置词性标注器用nltk.pos_tag()函数进行词性标注输出： + 自己的词性标注器输出： + 训练自己的词性标注器输出： + 编写自己的文法上下文无关文法： 1.开始符号/标记 2.终结符号集合 3.非终阅读全文

posted @ 2019-07-02 20:37 鹏懿如斯阅读(1062) 评论(0) 推荐(0)

鹏懿如斯

随笔分类 - NLP

公告