NLP - 随笔分类(第2页) - 忆凡人生

【NLP-11】注意力机制(Attention)

摘要：目录 Attention介绍 Attention原理 Attention的其他应用代码尝试一句话简介：九几年提出的概念，2014年在视觉领域火了以后，逐步引入NLP中，2017年的《Attention is all you need》引爆改结构，初步思想也很简单，就是提高某个区域的权重系数，有L 阅读全文

posted @ 2020-06-20 10:17 忆凡人生阅读(6036) 评论(0) 推荐(0)

【NLP-10】seq2seq

摘要：目录 Seq2Seq介绍原理解析和进化发展过程 Seq2Seq的预处理 seq2seq模型预测一句话简介：2014年提出的Seq2Seq(Sequence to Sequence), 就是一种能够根据给定的序列，通过特定的方法生成另一个序列的方法。一般用于机器翻译，图片描述，对话等场景。早期基阅读全文

posted @ 2020-06-20 10:13 忆凡人生阅读(1269) 评论(0) 推荐(1)

【NLP-09】textCNN

摘要：目录传统的自然语言处理模型 NLP的卷积神经网络（textCNN）卷积层的最大池化问题 testCNN的应用一句话简介：借鉴视觉的CNN用于自然语言处理中，通过不同高度（词数量）的卷积核提取特征，合并池化压缩至分类，优势是速度提升很多。一、传统的自然语言处理模型 1）传统的词袋模型或者连续词阅读全文

posted @ 2020-06-16 23:20 忆凡人生阅读(752) 评论(0) 推荐(0)

【NLP-08】textRNN

摘要：目录 textRNN简介 textRNN网络结构总结一句话简介：textRNN指的是利用RNN循环神经网络解决文本分类问题，通常使用LSTM和GRU这种变形的RNN，而且使用双向，两层架构居多。一、textRNN简介这里的文本可以一个句子，文档(短文本，若干句子)或篇章(长文本)，因此每段文阅读全文

posted @ 2020-06-16 23:18 忆凡人生阅读(2086) 评论(0) 推荐(0)

【NLP-07】GloVe（Global Vectors for Word Representation）

摘要：目录 GloVe简介 GloVe解析公式推导模型比较总结一、GloVe简介一句话概述：GloVe是一种基于全局语料计数的无监督学习模型，但是采用log(X)作为label，故损失函数采用最小平方损失函数。从全局考虑输出词向量表征。它来自斯坦福的一篇论文，GloVe全称应该是 Global 阅读全文

posted @ 2020-06-16 22:00 忆凡人生阅读(1341) 评论(0) 推荐(0)

【NLP-06】fastText文本分类算法

摘要：目录 fastText概述基础知识 LDA主题模型总结一句话简述：fastText提出了子词嵌入(subword embedding)的方法。是一种监督学习方法。和word2vec 中的CBOW结构很相似。运行速度较快。一、fastText概述 1.1 背景在word2vec中，我们并没有阅读全文

posted @ 2020-06-16 19:39 忆凡人生阅读(2788) 评论(0) 推荐(0)

【NLP-05】Doc2vec

摘要：目录 Doc2vec简介 Doc2vec模型总结一句话简介：doc2vec（又叫Paragraph Vector）是google的两位大牛Quoc Le和Tomas Mikolov在2014年提出的，是一种非监督式算法，可以获得 sentences/paragraphs/documents 的向阅读全文

posted @ 2020-06-16 19:37 忆凡人生阅读(3256) 评论(0) 推荐(1)

【NLP-04】隐含狄利克雷分布(LDA)

摘要：目录 LDA概述基础知识 LDA主题模型总结一句话简述：2003年提出的，LDA是一种无监督的词袋式隐含主题模型，LDA给出文档属于每个主题的概率分布，同时给出每个主题上词的概率分布。在文本主题识别、文本分类、文本相似度计算和文章相似推荐等方面都有应用。一、LDA概述在机器学习领域，LDA 阅读全文

posted @ 2020-06-16 19:34 忆凡人生阅读(2738) 评论(0) 推荐(0)

【NLP-03】Word2Vec

摘要：目录 word2vec 简介 CBOW与Skip-Gram模型优化方法优点 word2vec API讲解三个最常见的应用一句话简述：2013年Google发明，使用跳字节模型（skip-gram）或连续词袋模型（continuous bag of words ，CBOW）训练词向量（初始位o 阅读全文

posted @ 2020-06-16 19:27 忆凡人生阅读(808) 评论(0) 推荐(0)

【NLP-00-3】BLEU计算

摘要：目录定义 BLEU算法详解 NLTK实现一、定义 BLEU (其全称为Bilingual Evaluation Understudy), 其意思是双语评估替补。所谓Understudy (替补)，意思是代替人进行翻译结果的评估。尽管这项指标是为翻译而发明的，但它可以用于评估一组自然语言处理任务生阅读全文

posted @ 2020-05-26 21:47 忆凡人生阅读(3097) 评论(0) 推荐(0)

【NLP-02】NNLM

摘要：目录研究背景离散表示分布式表示神经网络 NNLM (Neural Network Language model)，神经网络语言模型是03年提出来的，通过训练得到中间产物–词向量矩阵，这就是我们要得到的文本表示向量矩阵。 1、研究背景维数灾难（curse of dimensionality）阅读全文

posted @ 2020-05-24 22:43 忆凡人生阅读(1430) 评论(1) 推荐(3)

【NLP-01】词嵌入的发展过程(Word Embedding)

摘要：目录什么是词嵌入(Word Embedding) 离散表示分布式表示神经网络一、什么是词嵌入(Word Embedding) 词是自然语言表义的基本单元。我们之所以认识词语，是因为我们大脑中建立了很多映射连接。那计算机怎么去识别呢？这也是词嵌入引出的原因：把词映射为实数域向量的技术也叫词嵌入阅读全文

posted @ 2020-05-24 22:41 忆凡人生阅读(4036) 评论(1) 推荐(0)

【NLP-00-2】序列标注问题

摘要：目录序列标注问题之中文分词序列标注之命名实体识别（NER） CRF和LSTM在序列标注上的优劣补充标签表示序列标注问题是自然语言中最常见的问题，在深度学习火起来之前，常见的序列标注问题的解决方案都是借助于HMM模型，最大熵模型，CRF模型。尤其是CRF，是解决序列标注问题的主流方法。随着深度阅读全文

posted @ 2020-05-24 22:40 忆凡人生阅读(994) 评论(0) 推荐(0)

【NLP-00-1】NLP简述

摘要：目录 NLP基本流程 NLP应用场景 NLP技术流一、自然语言处理的基本流程分词命名实体识别，主要有人名，地名，机构名等词性标注，对分词后的词语进行语义标注句法分析，主要是要构建语法树，标注单词，短语，句子的语法语义分析，包括两部分：语义消歧，主要是针对多义词在文中的意思；语义角色标注，阅读全文

posted @ 2020-05-24 22:39 忆凡人生阅读(867) 评论(1) 推荐(0)

yifanhunter

随笔分类 - NLP