文本表征：SoW、BoW、TF-IDF、Hash Trick、doc2vec、DBoW、DM

原文地址：https://www.jianshu.com/p/2f2d5d5e03f8

一、文本特征

（一）基本文本特征提取

• 词语数量
  常，负面情绪评论含有的词语数量比正面情绪评论更多。
• 字符数量
  常，负面情绪评论含有的字符数量比正面情绪评论更多。
• 平均词汇长度
  平均词汇长度=所有单词长度/单词个数。
• 停用词数量
  有时，计算停用词的数量可以提供去除停用词后失去的额外信息。
• 特殊字符数量
  如"#"、"@"等的数量。
• 数字的数量
  并不常用，但在相似任务中常比较有用。
• 大写单词的数量
  ......

（二）文本的预处理

小写转换、去除标点符号、停用词去除、常见词去除、稀缺词去除、拼写校对、分词、词干提取、词性还原 ......
词形还原(lemmatization)，是把一个任何形式的语言词汇还原为一般形式；而词干提取(stemming)是抽取词的词干或者词根形式，不一定能够表达完整语义。

（三）高级文本处理

• N-grams
  若太短，则无法捕获重要信息；若太长，则捕获的信息基本是一样的，没有差异性。
• 词频TF
• 反转文档频率IDF
• 词频-反转文档频率TF-IDF
• 词集模型SoW、词袋模型BoW
• 评测情感
  例如使用NLTK自带方法。
• 词向量
• 文本向量
  ......

二、SoW & BoW

当将文本表示为词相关的向量时，向量的维度值为总词汇数。
词集模型(Set of Words, SoW)中，如果向量维度位置对应的词出现在文本中，则该处值为1，否则为0。
除了考虑词是否出现外，词袋模型(Bag of Words, BoW)还考虑其出现次数，即每个文本向量在其对应词处取值为该词在文本中出现次数，未出现则为0。
但是，用词频来衡量该词的重要性是存在问题的。比如"the"，它的词频很高，但其实它没有那么重要。所以可以使用TF-IDF特征来统计修正词频。
修正后的向量依旧存在数据稀疏的问题，大部分值为0，常使用Hash Trick进行降维。

(一) TF-IDF

TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。
字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。
TF(term frequency)：词在当前文本中的词频；
IDF(inverse document frequency)：包含该词的文本在语料库中出现频率的倒数的对数，即：

\[IDF(x)=log{N \over N(x)} \]

其中，\(N\)是语料库中文本的总数，\(N(x)\)是语料库中包含词\(x\)的文本的总数。
常见的IDF平滑公式之一：

\[IDF(x)=log{N+1 \over N(x)+1}+1 \]

最终，词\(x\)的TF-IDF值：

\[TF{-}IDF(x)=TF(x)*IDF(x) \]

（二）Hash Trick

哈希函数\(h\)将第\(i\)个特征哈希到位置\(j\)，即\(h(i)=j\)。那么，第\(i\)个原始特征的词频数值\(c(i)\)将会累积到哈希后的第\(j\)个特征的词频数值\(c'(j)\)上，即：$$c'(j)=\sum_{i\in J;h(i)=j}c(i)$$
其中\(J\)是原始特征的维度。
但这样做存在一个问题，有可能两个原始特征哈希后位置相同，导致词频累加后特征值突然变大。
为了解决这个问题，出现了hash trick的变种signed hash trick，多了一个哈希函数\({\xi}:N{\rightarrow}{\pm}1\)，此时，我们有：

\[c'(j)=\sum_{i\in J;h(i)=j}{\xi}(i)c(i) \]

这样做的好处是，哈希后的特征值仍然是一个无偏的估计，不会导致某些哈希位置的值过大。从实际应用中来说，由于文本特征的高稀疏性，这么做是可行的。
注意hash trick降维后的特征已经不知道其代表的特征和意义，所以其解释性不强。
一般来说，只要词汇表的特征不至于太大，大到内存不够用，肯定是使用一般意义的向量化比较好。因为向量化的方法解释性很强，我们知道每一维特征对应哪一个词，进而我们还可以使用TF-IDF对各个词特征的权重进行修改，进一步完善特征的表示。
而Hash Trick一般使用在大规模机器学习上。此时我们的词汇量极大，使用向量化方法内存可能不够用，而使用Hash Trick降维速度很快，降维后的特征仍然可以帮我们完成后续的分类和聚类工作。当然由于分布式计算框架的存在，其实一般我们不会出现内存不够的情况。因此，实际工作中常常使用的都是特征向量化。

三、doc2vec

（一）DBoW

Distributed Bag of Words(DBoW)在给定文档向量的情况下预测文档中一组随机单词的概率。和Skip-Gram很像。
DBoW模型的输入是文档向量，预测的是该文档中随机抽样的单词。在SGD的每一次迭代中采样一个文本窗口，再从该文本窗口中随机采样一个词，从而形成一个给定段落向量进行词预测的多分类的任务。

（二）DM

Distributed Memory(DM)在给定文档向量和上下文的情况下预测单词的概率。和CBoW很像。
DM模型在训练时，首先将每个文档id和语料库中的所有词初始化为一个\(k\)维的向量，然后将文档向量和上下文的向量输入模型，隐藏层将这些向量进行累加或取均值或拼接得到中间向量，作为输出层softmax的输入。

（三）小结

不同的文档具有不同的文档向量，但是不同文档中的相同词具有相同的词向量。在一个文档的训练过程中，文档id保持不变，共享着同一个文档向量，相当于在预测单词的概率时，都利用了整个文档的语义。
其主要优点是文档向量的获取过程中，可以对没有标记的数据集进行训练。