文本相似度

一、句子的表示

1.向量空间模型

BOW、one-hot、tf-idf（主题模型，可降维）

2.无监督的深度语义

进行降维、对句子进行语义表示

2.1自回归AR，错位预测

用RNN，相当于达到了用上文预测下文的作用。

2.2自编码AE

信息压缩-->信息放大（类似seq2seq的encoder和decoder过程）

Word2Vec skip-gram：通过当前单词预测上下文单词（词向量）

sentence2vector：通过当前句子，预测上下文句子（句向量）

ELMo：解决一词多义的问题（H_il：表示LSTM隐层学习的词向量）

Seq2seq：Encode-decode NMT

Seq2seq：Encode-decode NMT with attention

transformer

GPT（Transformer decoder）

Bert（transformer encoder）

3.深度匹配范式(有监督)

GAN的判别器，语义的判断

pointwise&pairwise

表示模型和交互模型

表示模型example：DSSM

交互模型example：MV-LSTM

交互模型：MatchPyramid