算法浅入浅出之TF-IDF
假设现在有一篇很长的文章，要从中提取出它的关键字，完全不人工干预，那么怎么做到呢？又有如如何判断两篇文章的相似性的这类问题，这是在数据挖掘，信息检索中经常遇到的问题，然而TF-IDF算法就可以解决。
浅入
举个例子理解一下
有很多不同的数学公式可以用来计算TF-IDF。这边的例子以上述的数学公式来计算。词频 (TF) 是一词语出现的次数除以该文件的总词语数。假如一篇文件的总词语数是100个，而词语“母牛”出现了3次，那么“母牛”一词在该文件中的词频就是3/100=0.03。一个计算文件频率 (IDF) 的方法是测定有多少份文件出现过“母牛”一词，然后除以文件集里包含的文件总数。所以，如果“母牛”一词在1,000份文件出现过，而文件总数是10,000,000份的话，其逆向文件频率就是 log(10,000,000 / 1,000)=4。最后的TF-IDF的分数为0.03 * 4=0.12。
是不是觉得特别简单，就是这么简单！然后呢，接下来将这个例子理论化，尽量用简单的语言做出总结。
TF-IDF（term frequency–inverse document frequency）概述
TF词频(Term Frequency) 一词语出现的次数除以该文件的总词语数
这个数字是对词数(term count)的归一化，以防止它偏向长的文件。（同一个词语在长文件里可能会比短文件有更高的词数，而不管该词语重要与否。）对于在某一特定文件里的词语 
来说，它的重要性可表示为：
以上式子中 
是该词 在文件
中的出现次数，而分母则是在文件中所有字词的出现次数之和。
IDF逆向文件频率(Inverse Document Frequency) 测定有多少份文件出现过某个词，然后除以文件集里包含的文件总数
IDF是一个词语普遍重要性的度量。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到：
其中
- |D|：语料库中的文件总数
：包含词语的文件数目（即
的文件数目）如果该词语不在语料库中，就会导致被除数为零，因此一般情况下使用
然后
某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-IDF。因此，TF-IDF倾向于过滤掉常见的词语，保留重要的词语。
总结一下：
TF-IDF是一种常用加权技术，用于资讯检索与资讯探勘的。
TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。
算法核心：
字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。
每类网页或文件都应该有自己的属性或者标签，这个标签肯定在众多文件中对一无二。那么如何去找这个独一无二呢？
步骤
（1）计算词频
词频 = 某个词在文章中出现的总次数
当然为了消除不同文章大小之间的差异，便于不同文章之间的比较，我们在此标准化词频：
词频 = 某个词在文章中出现的总次数/文章的总词数
或者：词频 = 某个词在文章中出现的总次数/文章中出现次数最多的词的个数
（2）计算逆文档频率
在此，首先需要一个语料库来模拟语言的使用环境。
逆文档频率（IDF） = log（词料库的文档总数/包含该词的文档数+1）
为了避免分母为0，所以在分母上加1.
（3）计算TF-IDF值
基于之前的分析了解，有：TF-IDF值 = TF * IDF。
在此有：TF-IDF值与该词的出现频率成正比，与在整个语料库中的出现次数成反比，符合之前的分析。
（4）求出关键字
计算出文章中每个词的TF-IDF值之后，进行排序，选取其中值最高的几个作为关键字。
（5）计算文章的相似性
计算出每篇文章的关键词，从中各选取相同个数的关键词，合并成一个集合，计算每篇文章对于这个集合中的词的词频，生成两篇文章各自的词频向量，进而通过欧氏距离或余弦距离求出两个向量的余弦相似度，值越大就表示越相似。
主要思想是：
如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类，也就可以作为上文中所提到的关键字。
比如说“原子能”这个词，如果在数据库中所有网页占比比较低，但是在当前网页出现的频率高，那么就可以给这个网页添加原子能的标签，来对网页进行归类
浅出
是不是有点晕，举例说明：
例1：
根据关键字k1,k2,k3进行搜索结果的相关性就变成TF1*IDF1 + TF2*IDF2 + TF3*IDF3。
比如document1的term总量为1000，k1,k2,k3在document1出现的次数是100，200，50。
包含了 k1, k2, k3的docuement总量分别是 1000， 10000，5000。document set的总量为10000。
TF1 = 100/1000 = 0.1
TF2 = 200/1000 = 0.2
TF3 = 50/1000 = 0.05
IDF1 = log(10000/1000) = log(10) = 2.3
IDF2 = log(10000/100000) = log(1) = 0;
IDF3 = log(10000/5000) = log(2) = 0.69
这样关键字k1,k2,k3与docuement1的相关性= 0.1*2.3 + 0.2*0 + 0.05*0.69 = 0.2645
其中k1比k3的比重在document1要大，k2的比重是0.
例2 :
在某个一共有一千词的网页中“原子能”、“的”和“应用”分别出现了 2 次、35 次 和 5 次，那么它们的词频就分别是 0.002、0.035 和 0.005。 我们将这三个数相加，其和 0.042 就是相应网页和查询“原子能的应用” 相关性的一个简单的度量。概括地讲，如果一个查询包含关键词 w1,w2,...,wN, 它们在一篇特定网页中的词频分别是: TF1, TF2, ..., TFN。 （TF: term frequency)。 那么，这个查询和该网页的相关性就是:TF1 + TF2 + ... + TFN。
读者可能已经发现了又一个漏洞。在上面的例子中，词“的”站了总词频的 80% 以上，而它对确定网页的主题几乎没有用。我们称这种词叫“应删除词”（Stopwords)，也就是说在度量相关性是不应考虑它们的频率。在汉语中，应删除词还有“是”、“和”、“中”、“地”、“得”等等几十个。忽略这些应删除词后，上述网页的相似度就变成了0.007，其中“原子能”贡献了 0.002，“应用”贡献了 0.005。细心的读者可能还会发现另一个小的漏洞。在汉语中，“应用”是个很通用的词，而“原子能”是个很专业的词，后者在相关性排名中比前者重要。因此我们需要给汉语中的每一个词给一个权重，这个权重的设定必须满足下面两个条件：
1. 一个词预测主题能力越强，权重就越大，反之，权重就越小。我们在网页中看到“原子能”这个词，或多或少地能了解网页的主题。我们看到“应用”一次，对主题基本上还是一无所知。因此，“原子能“的权重就应该比应用大。
2. 应删除词的权重应该是零。
我们很容易发现，如果一个关键词只在很少的网页中出现，我们通过它就容易锁定搜索目标，它的权重也就应该大。反之如果一个词在大量网页中出现，我们看到它仍然不很清楚要找什么内容，因此它应该小。概括地讲，假定一个关键词 ｗ 在 Ｄｗ 个网页中出现过，那么 Ｄｗ 越大，ｗ的权重越小，反之亦然。在信息检索中，使用最多的权重是“逆文本频率指数” （Inverse document frequency 缩写为ＩＤＦ），它的公式为ｌｏｇ（Ｄ／Ｄｗ）其中Ｄ是全部网页数。比如，我们假定中文网页数是Ｄ＝１０亿，应删除词“的”在所有的网页中都出现，即Ｄｗ＝１０亿，那么它的ＩＤＦ＝log(10亿/10亿）= log (1) = ０。
假如专用词“原子能”在两百万个网页中出现，即Ｄｗ＝２００万，则它的权重ＩＤＦ＝log(500) =6.2。又假定通用词“应用”，出现在五亿个网页中，它的权重ＩＤＦ = log(2)则只有 0.7。也就只说，在网页中找到一个“原子能”的比配相当于找到九个“应用”的匹配。利用 IDF，上述相关性计算个公式就由词频的简单求和变成了加权求和，即 TF1*IDF1 + TF2*IDF2 ＋... + TFN*IDFN。在上面的例子中，该网页和“原子能的应用”的相关性为 0.0161，其中“原子能”贡献了 0.0126，而“应用”只贡献了0.0035。这个比例和我们的直觉比较一致了。
引用网页
http://blog.csdn.net/sangyongjia/article/details/52440063
https://www.cnblogs.com/ybjourney/p/4793370.html
