随笔分类 -  深度学习-NLP

摘要：用decoder的输入做Query（y_i），用encoder的输出去做key和value(X) 1. 引入 抛弃RNN，只用attention 2. Transformer ：Attention is All You Need 你不需要RNN，你只需要attention就可以参数化语言模型 还是有 阅读全文

摘要：Seq2seq的思想和应用 Encoder-decoder第一篇：Learning Phrase Representations using RNN Encoder-Decoder for Statis Machine Translation Seq2seq：sequence to sequence 阅读全文

摘要：一、RNN RNN适合应用于序列，变长的句子。 1.引入 z为线性变化，a为激活函数 2.函数近似语言模型*（近似定理） 前馈的输入的长度是有限的依赖问题，FNN太宽（也就是0/1就可以构成一个windows，但不会这么做） 引入RNN能更好的学习有历史依赖关系的情况*（序列有前后依赖关系） 3.R 阅读全文

摘要：一、句子的表示 1.向量空间模型 BOW、one-hot、tf-idf（主题模型，可降维） 2.无监督的深度语义 进行降维、对句子进行语义表示 2.1自回归AR，错位预测 用RNN，相当于达到了用上文预测下文的作用。 2.2自编码AE 信息压缩-->信息放大（类似seq2seq的encoder和de 阅读全文

摘要：一、NLP概念 1.1 文本消歧：多模态、上下文信息 1.2 应用：问答系统 情感分析（产品评论、事件监测、舆情监控、股票价格预测） 15年之前 vs 15年之后： 机器翻译（很多好的模型都从机器翻译中来） 自动摘要 信息抽取（成熟）-->自动问答系统中的一个子模块 对话系统-->集大成者。 用简单 阅读全文