学习笔记（7）- 基于LSTM的对话模型

LSTM based Conversation Models
本文介绍一种会话语言模型，结合了局部、全局的上下文，以及参与者的角色。

问题提出者 倾向于用“任何人”、“如何”来提出问题。

问题回答者 倾向于使用指令性词汇(you, you’re)、模糊限制语(may, might)和与解决问题相关的词汇(sudo, check)。

Luan, Yi , Y. Ji , and M. Ostendorf . "LSTM based Conversation Models." (2016).

Yi Luan1, Yangfeng Ji2, Mari Ostendorf1
华盛顿大学，佐治亚理工学院

笔记

Most similar to our work is the Semantic Controlled LSTM (SC-LSTM) proposed by Wan et al. [11], where a Dialogact component is introduced into the LSTM cell to guide the generated content.

In this work, we utilize the role information to bias response generation without modifying LSTM cells.

POSTER:对话中的用户，通过提出一个技术问题来初始化对话;
RESPONDER:试图提供技术支持的其他用户。

没有过滤掉表情符号，而是把它们当作单个标记。

训练了一个LDA模型，超参数是：单词向量K、隐层维度H、LDA模型的主题的个数M。

使用网格搜索，使用困惑度在开发集优化模型，使用随机梯度下降初始化学习率。

评估的方法是Recall@K，并预留了\(n\)-gram，为以后的工作打基础。

Experiments are conducted with Ubuntu chat logs, using language model perplexity and response ranking, as well as qualitative analysis.