TF-IDF算法介绍

 TF-IDF（term frequency–inverse document frequency，词频-逆向文件频率）是一种用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。

原则：字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

TF-IDF的主要思想是：如果某个单词在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。

逆向文件频率 (IDF) ：某一特定词语的IDF，可以由总文件数目除以包含该词语的文件的数目，再将得到的商取对数得到。

如果包含词条t的文档越少, IDF越大，则说明词条具有很好的类别区分能力。

  某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-IDF。因此，TF-IDF倾向于过滤掉常见的词语（例如“我们、他们、一起、主要、并且”），保留重要的词语。

 TF-IDF的作用：只是过滤掉一些不重要的词语，保留重要的以及可以表明文本特性的词语，仅此而已

缺陷：没有考虑词语的语义信息，更无法分析词语的感情色彩

TF-IDF应用

     （1）搜索引擎；（2）关键词提取；（3）文本相似性；（4）文本摘要