微笑sun

摘要： 1，概述 任务型对话系统越来越多的被应用到实际的场景中，例如siri，阿里小密这类的产品。通常任务型对话系统都是基于pipline的方式实现的，具体的流程图如下： 整个pipline由五个模块组成：语音识别；自然语言理解；对话管理；自然语言生成；语音合成。现在越来越多的产品还融入了知识库，主要是在对 阅读全文

摘要： 1. KL散度 KL散度又称为相对熵，信息散度，信息增益。KL散度是是两个概率分布 $P$ 和 $Q$ 之间差别的非对称性的度量。 KL散度是用来 度量使用基于 $Q$ 的编码来编码来自 $P$ 的样本平均所需的额外的位元数。 典型情况下，$P$ 表示数据的真实分布，$Q$ 表示数据的理论分布，模型 阅读全文

摘要： 1，概述 机器翻译中常用的自动评价指标是 $BLEU$ 算法，除了在机器翻译中的应用，在其他的 $seq2seq$ 任务中也会使用，例如对话系统。 2 $BLEU$算法详解 假定人工给出的译文为$reference$，机器翻译的译文为$candidate$。 1）最早的$BLEU$算法 最早的$BL 阅读全文

摘要： 1，$TF-IDF$算法 $TF$是指归一化后的词频，$IDF$是指逆文档频率。给定一个文档集合$D$，有$d_1, d_2, d_3, ......, d_n \in D$。文档集合总共包含$m$个词（注：一般在计算$TF-IDF$时会去除如“的”这一类的停用词），有$w_1, w_2, w_3, 阅读全文

摘要： 本文来自李纪为博士的论文 Deep Reinforcement Learning for Dialogue Generation。 1，概述 当前在闲聊机器人中的主要技术框架都是seq2seq模型。但传统的seq2seq存在很多问题。本文就提出了两个问题： 1）传统的seq2seq模型倾向于生成安全 阅读全文

摘要： 本文来自李纪为博士的论文 A Diversity-Promoting Objective Function for Neural Conversation Models 1，概述 对于seq2seq模型类的对话系统，无论输入是什么，都倾向于生成安全，通用的回复（例如 i don't know 这一类 阅读全文

摘要： 在window下使用gemsim.models.word2vec.LineSentence加载中文维基百科语料库（已分词）时报如下错误： 这种编码问题真的很让人头疼，这种问题都是出现在xxx.decode("utf-8")的时候，所以接下来我们来看看gensim中的源码： 从源码中可以看到__ite 阅读全文

摘要： 1 概述 在该系列上一篇中介绍的基于价值的深度强化学习方法有它自身的缺点，主要有以下三点： 1）基于价值的强化学习无法很好的处理连续空间的动作问题，或者时高维度的离散动作空间，因为通过价值更新策略时是需要对每个动作下的价值函数的大小进行比较的，因此在高维或连续的动作空间下是很难处理的。 2）在基于价 阅读全文

摘要： BERT预训练模型在诸多NLP任务中都取得最优的结果。在处理文本分类问题时，即可以直接用BERT模型作为文本分类的模型，也可以将BERT模型的最后层输出的结果作为word embedding导入到我们定制的文本分类模型中（如text-CNN等）。总之现在只要你的计算资源能满足，一般问题都可以用BER 阅读全文

摘要： 1 大纲概述 文本分类这个系列将会有十篇左右，包括基于word2vec预训练的文本分类，与及基于最新的预训练模型（ELMo，BERT等）的文本分类。总共有以下系列： word2vec预训练词向量 textCNN 模型 charCNN 模型 Bi-LSTM 模型 Bi-LSTM + Attention 阅读全文