NLP：词向量与ELMo模型

逻辑回顾，最多的应用是在分类问题上。

词向量

one hot编码不能表示单词间语义相似度，所以就出现了词向量
我们：[1, 0, 0, 0, 0, 0, 0] -> [0.1, 0.3, 0.4, 0.2]
运动：[0, 0, 0, 0, 1, 0, 0] -> [0.3, 0.2, 0.1, 0.4]
稀疏矩阵sparse Mat -> 稠密矩阵 dense Mat
针对词向量的降维算法：T-SNE
one hot编码和词向量都是将文档等文字量化成数字
ELMo、bert、XLNet等都是为了将文字转成词向量，得到词之间的相似度

语言模型

语言模型用来判断：是否一句话从语法上通顺，方法是计算一个句子或字序列的可能性

ELMo

ELMo是deep 双向LSTM的深度学习模型
对比图像的层次表达，NLP：文字 -> 单词特征 -> 句法特征 -> 语义特征