智能问答系统问答匹配

词相似特征

1.Word cosine similarity: 我们假设问题和好的答案词相似，所以设计回答和问题的词的相似度特征。构建词典，以词典顺序作为向顺序，tfidf 作为权重 ，统计每个回答和问题的空间向量，然后计算对应的问题和回答之间的余弦相似度。

2.NE cosine similarity：关键词通常是名词实体，我们假设问题和好的回答的关键词相近，所以我们构建了问题与回答之间的名词实体余弦。识别名词实体，构建名词实体字典。以字典为顺序，tfidf为权重，构建每个问题和答案的名词实体向量，并计算相应的余弦值。

特殊词特征

1.Special symbol feature: 我们将训练数据各个类别的答案所出现的符号经过统计分析发现，有些特殊符号比如“>..<，!:(，:(，:-(”只出现在了bad类别的答案中，而“>,<”只出现在good类别的答案中，因此我们将此作为一维特征。定义：3表示出现good类符号；2表示不出现good和bad类符号；1表示出现bad类符号。

2.Bad words feature: 我们假设某些词倾向出现在坏的答案里或者好的答案里，根据经验，这样的特征对识别坏的词有帮助。所以我们统计仅出现在 bad 的回答的词。问题中若是出现 bad的词，则这维特征记为 1，否则记为 0.

主题特征

1.Topic feature: 我们假设问题的主题和回答的主题是相似的，所以这维特征计算问题和答案的主题相似度分数。我们借助 gensim工具的 LDA 模型来训练主题模型。

我们训练10 个主题的主题模型，然后拿到每条答案或者问题的主题向量(每条记录属于每个主题的分数)。拿到每条记录的主题向量之后，计算对应的问题和答案的余弦相似度。从而得到问题与答案的主题相似度特征。