随笔分类 - NLP

自然语言处理相关的算法和概念

博客迁移告知

摘要：大家好，非常感谢关注到该博客园，由于个人原因，后期主要将知乎作为写作和记录平台，感兴趣的请移步到个人知乎有问题可以在那边提问，谢谢！阅读全文

posted @ 2022-08-02 16:39 忆凡人生阅读(314) 评论(0) 推荐(0)

【文本分类-中文】textRNN

摘要：一、概述在英文分类的基础上，再看看中文分类的，是一种10分类问题（体育，科技，游戏，财经，房产，家居等）的处理。二、数据集合数据集为新闻，总共有四个数据文件，在/data/cnews目录下，包括内容如下图所示测试集，训练集和验证集，和单词表(最后的单词表cnews.vocab.txt可以不要，阅读全文

posted @ 2020-08-29 20:43 忆凡人生阅读(1647) 评论(0) 推荐(0)

【文本分类-中文】textCNN

摘要：目录概述数据集合代码结果展示一、概述在英文分类的基础上，再看看中文分类的，是一种10分类问题（体育，科技，游戏，财经，房产，家居等）的处理。二、数据集合数据集为新闻，总共有四个数据文件，在/data/cnews目录下，包括内容如下图所示测试集，训练集和验证集，和单词表(最后的单词表c 阅读全文

posted @ 2020-08-29 20:42 忆凡人生阅读(1999) 评论(3) 推荐(1)

【ML-13-8】条件随机场CRF--词性标注任务

摘要：目录 CRF简介序列标注问题 tensorflow里的条件随机场总结上一篇介绍了隐马尔科夫模型（HMM）在词性标注任务中的应用，但HMM 引入了马尔科夫假设：即当前时刻的状态只与其前一时刻的状态有关。但是，在序列标注任务中，当前时刻的状态，应该同该时刻的前后的状态均相关。于是，在很多序列标注任阅读全文

posted @ 2020-08-15 23:03 忆凡人生阅读(1338) 评论(0) 推荐(0)

【ML-13-7】隐马尔科夫模型ＨＭＭ--词性标注任务

摘要：自然语言处理中经典的隐马尔科夫模型(HMM)。HMM早期在语音识别、分词等序列标注问题中有着广泛的应用。了解HMM的基础原理以及应用，对于了解NLP处理问题的基本思想和技术发展脉络有很大的好处。本文会详细讲述HMM的基本概念和原理，并详细介绍其在分词中的实际应用。一、HMM简介 HMM是一种链式阅读全文

posted @ 2020-08-15 23:02 忆凡人生阅读(919) 评论(0) 推荐(0)

【文本分类-08】BERT

摘要：目录大纲概述数据集合数据处理预训练word2vec模型一、大纲概述文本分类这个系列将会有8篇左右文章，从github直接下载代码，从百度云下载训练数据，在pycharm上导入即可使用，包括基于word2vec预训练的文本分类，与及基于近几年的预训练模型（ELMo，BERT等）的文本分类。阅读全文

posted @ 2020-07-23 22:42 忆凡人生阅读(1042) 评论(4) 推荐(0)

【文本分类-06】Transformer

摘要：目录大纲概述数据集合数据处理预训练word2vec模型一、大纲概述文本分类这个系列将会有8篇左右文章，从github直接下载代码，从百度云下载训练数据，在pycharm上导入即可使用，包括基于word2vec预训练的文本分类，与及基于近几年的预训练模型（ELMo，BERT等）的文本分类。阅读全文

posted @ 2020-07-22 22:02 忆凡人生阅读(1197) 评论(0) 推荐(1)

【文本分类-07】ELMo

摘要：目录大纲概述数据集合数据处理预训练word2vec模型一、大纲概述文本分类这个系列将会有8篇左右文章，从github直接下载代码，从百度云下载训练数据，在pycharm上导入即可使用，包括基于word2vec预训练的文本分类，与及基于近几年的预训练模型（ELMo，BERT等）的文本分类。阅读全文

posted @ 2020-07-22 22:02 忆凡人生阅读(876) 评论(0) 推荐(0)

【文本分类-05】BiLSTM+Attention

摘要：目录大纲概述数据集合数据处理预训练word2vec模型一、大纲概述文本分类这个系列将会有8篇左右文章，从github直接下载代码，从百度云下载训练数据，在pycharm上导入即可使用，包括基于word2vec预训练的文本分类，与及基于近几年的预训练模型（ELMo，BERT等）的文本分类。阅读全文

posted @ 2020-07-22 22:01 忆凡人生阅读(7923) 评论(2) 推荐(0)

【文本分类-04】BiLSTM

摘要：目录大纲概述数据集合数据处理预训练word2vec模型一、大纲概述文本分类这个系列将会有8篇左右文章，从github直接下载代码，从百度云下载训练数据，在pycharm上导入即可使用，包括基于word2vec预训练的文本分类，与及基于近几年的预训练模型（ELMo，BERT等）的文本分类。阅读全文

posted @ 2020-07-22 22:01 忆凡人生阅读(1698) 评论(0) 推荐(0)

【文本分类-02】textCNN

摘要：目录大纲概述数据集合数据处理预训练word2vec模型一、大纲概述文本分类这个系列将会有8篇左右文章，从github直接下载代码，从百度云下载训练数据，在pycharm上导入即可使用，包括基于word2vec预训练的文本分类，与及基于近几年的预训练模型（ELMo，BERT等）的文本分类。阅读全文

posted @ 2020-07-22 21:59 忆凡人生阅读(1061) 评论(0) 推荐(0)

【文本分类-03】charCNN

摘要：目录大纲概述数据集合数据处理预训练word2vec模型一、大纲概述文本分类这个系列将会有8篇左右文章，从github直接下载代码，从百度云下载训练数据，在pycharm上导入即可使用，包括基于word2vec预训练的文本分类，与及基于近几年的预训练模型（ELMo，BERT等）的文本分类。阅读全文

posted @ 2020-07-22 21:59 忆凡人生阅读(806) 评论(0) 推荐(0)

【文本分类-01】Word2vec

摘要：目录大纲概述数据集合数据处理预训练word2vec模型一、大纲概述文本分类这个系列将会有8篇左右文章，从github直接下载代码，从百度云下载训练数据，在pycharm上导入即可使用，包括基于word2vec预训练的文本分类，与及基于近几年的预训练模型（ELMo，BERT等）的文本分类。阅读全文

posted @ 2020-07-22 21:57 忆凡人生阅读(1687) 评论(0) 推荐(0)

【ML-13-6】条件随机场的三个问题（CRF-Conditional Random Field）

摘要：目录条件随机场CRF—— 前向后向算法评估标记序列概率条件随机场CRF—— 模型参数学习条件随机场CRF—— 维特比算法解码一、条件随机场CRF—— 前向后向算法评估标记序列概率 linear-CRF第一个问题是评估推断（Inference），即给定 linear-CRF的条件概率分布P(y 阅读全文

posted @ 2020-06-26 07:19 忆凡人生阅读(983) 评论(1) 推荐(0)

【NLP-16】Transformer-XL

摘要：目录背景 vanilla Transformer Transformer-XL解析总结一句话简介：Transformer-XL架构在vanilla Transformer的基础上引入了两点创新：循环机制（Recurrence Mechanism）和相对位置编码（Relative Positio 阅读全文

posted @ 2020-06-23 20:15 忆凡人生阅读(1866) 评论(0) 推荐(0)

【ML-13-5】条件随机场（CRF-Conditional Random Field）

摘要：目录知识串讲 HMM VS MEMM 从随机场到马尔科夫随机场条件随机场(CRF) MRF因子分解定理线性链条件随机场(Linear-CRF) 一句话简介：条件随机场(Conditional Random Fields, 以下简称CRF)是给定一组输入序列条件下另一组输出序列的条件概率分布模型阅读全文

posted @ 2020-06-21 22:43 忆凡人生阅读(349) 评论(0) 推荐(0)

【NLP-15】BERT模型（Bidirectional Encoder Representations from Transformers）

摘要：目录 BERT简介 BERT概述 BERT解析 GLUE语料集模型比较总结一句话简介：2018年年底发掘的自编码模型，采用预训练和下游微调方式处理NLP任务；解决动态语义问题，word embedding 送入双向transformer（借用了ELMo的双向思路，GPT的transformer 阅读全文

posted @ 2020-06-20 10:29 忆凡人生阅读(6304) 评论(0) 推荐(0)

【NLP-14】GPT模型（Generative Pre-Training）

摘要：一句话简介：2018年发掘的自回归模型，采用预训练和下游微调方式处理NLP任务；解决动态语义问题，word embedding 送入单向transformer中。一、GPT简介 1.1 背景目前大多数深度学习方法依靠大量的人工标注信息，这限制了在很多领域的应用。此外，即使在可获得相当大的监督语料阅读全文

posted @ 2020-06-20 10:27 忆凡人生阅读(17316) 评论(0) 推荐(1)

【NLP-13】ELMo模型（Embeddings from Language Models）

摘要：目录 ELMo简介 ELMo模型概述 ELMo模型解析 ELMo步骤总结一句话简介：2018年发掘的自回归模型，采用预训练和下游微调方式处理NLP任务；解决动态语义问题，word embedding 送入双向LSTM，损失函数基于两个LSTM判断的loss求和，最后通过softmax求解。一、阅读全文

posted @ 2020-06-20 10:25 忆凡人生阅读(12778) 评论(0) 推荐(1)

【NLP-12】Transformer（Atention is all you need）

摘要：目录 transformer简介 transformer模型分析相关对比和问题一句话简介：2017年（Atention is all you need）引出，采用了从Encoder（2个子层）-Decoder（3个子层）架构，包含几个重要组件：Self-Attention，Multi-Head 阅读全文

posted @ 2020-06-20 10:21 忆凡人生阅读(1093) 评论(0) 推荐(0)