随笔分类 - NLP
摘要：单轮对话 一般是基于检索的，回答句对 Or 知识库 评价指标 召回率，准确率，问题解决率 召回率 = 能回答的总数 / 问题总数 准确率 = 正确回答数量 / 问题总数 问题解决率 = 机器人成功解决的问题数量 / 问题总数，该指标一般用来替代准确率（准确率需要人工标记，统计复杂） 机器人成功解决的
阅读全文
摘要：基本概念： 1、槽可以理解为实体已明确定义的属性，例如打车中的，出发地点槽，目的地槽，出发时间槽中的属性分别是“出发地点”、“目的地”和“出发时间” 2、语义槽是指NLU模块从句子中抽取出的特定概念 3、填槽指的是为了让用户意图转化为用户明确的指令而补全信息的过程 4、槽填充则可以看做是序列标注问题
阅读全文
摘要：对话系统分类 对话系统大致可分为两种: 1) 任务导向型（task-oriented)对话系统 2) 非任务导向型(non-task-oriented)对话系统(也称为聊天机器人) 任务导向 面向任务的系统旨在帮助用户完成实际具体的任务，例如帮助用户找寻商品，预订酒店餐厅等。 面向任务的系统的广泛应
阅读全文
摘要：摘要 知识加强的语义表示模型。 knowledge masking strategies : entity-level masking / phrase-level masking 实体级别 和 短语级别 SOTA：5个中文NLP任务 NLI 语义相似性 命名实体识别 情感分析 QA 知识推理能力！
阅读全文
摘要：NDSS https://arxiv.org/abs/1812.05271 摘要中的创新点确实是对抗攻击中值得考虑的点： 1. effective 2. evasive recognized by human readers 3. efficient 在IMDB数据集上取得100%的成功率。 最后有
阅读全文
摘要：贪心搜索(greedy search)： 贪心搜索最为简单，直接选择每个输出的最大概率，直到出现终结符或最大句子长度。 集束搜索(beam search)： 集束搜索可以认为是维特比算法的贪心形式，在维特比所有中由于利用动态规划导致当字典较大时效率低，而集束搜索使用beam size参数来限制在每一
阅读全文
摘要：0 简述 Transformer改进了RNN最被人诟病的训练慢的缺点，利用self-attention机制实现快速并行。 并且Transformer可以增加到非常深的深度，充分发掘DNN模型的特性，提升模型准确率。 编码组件部分由一堆编码器（encoder）构成（论文中是将6个编码器叠在一起——数字
阅读全文
摘要：[code] [pdf] 白盒 beam search 基于梯度 字符级
阅读全文
摘要：(1)用对抗性的源实例攻击翻译模型; (2)使用对抗性目标输入来保护翻译模型，提高其对对抗性源输入的鲁棒性。 生成对抗输入：基于梯度 （平均损失） -> AdvGen 我们的工作处理由白盒NMT模型联合生成的扰动样本 -> 知道受攻击模型的参数 ADVGEN包括encoding, decoding:
阅读全文
摘要：[pdf] [code] 句法控制释义网络 SCPNS 生成对抗样本 我们提出了句法控制意译网络(SCPNs)，并利用它们来生成对抗性的例子。给定一个句子和一个目标语法形式(例如，一个选区解析)，scpn经过训练，可以用所需的语法产生句子的释义。我们展示了为这个任务创建训练数据是可能的，首先在非常大
阅读全文
摘要：自然语言推理是NLP高级别的任务之一，不过自然语言推理包含的内容比较多，机器阅读，问答系统和对话等本质上都属于自然语言推理。最近在看AllenNLP包的时候，里面有个模块：文本蕴含任务(text entailment)，它的任务形式是： 给定一个前提文本（premise），根据这个前提去推断假说文本
阅读全文
摘要：[code&data] [pdf] ARCT 任务是 Habernal 等人在 NACCL 2018 中提出的，即在给定的前提（premise）下，对于某个陈述（claim），相反的两个依据（warrant0，warrant1）哪个能支持前提到陈述的推理。 他们还在 SemEval-2018 中指出
阅读全文
摘要：适用任务 中文分词、词性标注、命名实体识别是自然语言理解中，基础性的工作，同时也是非常重要的工作。 在很多NLP的项目中，工作开始之前都要经过这三者中的一到多项工作的处理。 在深度学习中，有一种模型可以同时胜任这三种工作，而且效果还很不错--那就是biLSTM_CRF。 biLSTM，指的是双向LS
阅读全文
摘要：[code&data] [pdf] 主要工作 文章首先证明了对抗攻击对NLP系统的影响力，然后提出了三种屏蔽方法： visual character embeddings adversarial training rule-based recovery 但屏蔽方法在非攻击场景下的性能仍然较差，说明了
阅读全文
摘要：[code] [blog] 主要思想和贡献 以前，NLP中的对抗攻击一般都是针对特定输入的，那么他们对任意的输入是否有效呢？ 本文搜索通用的对抗性触发器：与输入无关的令牌序列，当连接到来自数据集的任何输入时，这些令牌序列触发模型生成特定的预测。 例如，触发器导致SNLI隐含精度从89.94%下降到
阅读全文
摘要：攻击 supporting facts 的修改：字符调换，替换词（用空格embedding或近同义词，变形词等） 还有针对question的攻击。 梯度下降，在embediing上做攻击，如何decode是个问题。 防御 如果把大量对抗样本加到训练样本一起训练不够显示，作用不是很大，随时都可能会有新
阅读全文
摘要：主要思想 这篇文章主要是利用多个标准进行中文分词，和之前复旦的那篇文章比，它的方法更简洁，不需要复杂的结构，但比之前的方法更有效。 方法 堆叠的LSTM，最上层是CRF。 最底层是字符集的Bi-LSTM。输入：字符集embedding，输出：每个字符的上下文特征表示。 得到ht之后， CRF作为推理
阅读全文
摘要：NLP中对抗应用 1. 分词 ， 可以用GAN来做，消除不同分词器的差异性 2. 风格迁移， 这个在图像中应用较多，在NLP中同样可行 3. 提高问答系统/阅读理解的性能。 4. 机器翻译应该也可以做，可以用GAN，不同的翻译规则 -> 趋于相同的答案 那这么说，一切和消歧相关的其实都可以用GAN来
阅读全文
摘要：核心思想 基于阅读理解中QA系统的样本中可能混有对抗样本的情况，在寻找答案时，首先筛选出可能包含答案的句子，再做进一步推断。 方法 Part 1 given: 段落C query Q 段落切分成句子： 每个句子和Q合并： 使用依存句法分析得到表示： 基于T Si T Q ，分别构建 Tree-LST
阅读全文
摘要：简单介绍 LSA和传统向量空间模型(vector space model)一样使用向量来表示词(terms)和文档(documents)，并通过向量间的关系(如夹角)来判断词及文档间的关系；不同的是，LSA 将词和文档映射到潜在语义空间，从而去除了原始向量空间中的一些“噪音”，提高了信息检索的精确度
阅读全文
浙公网安备 33010602011771号