文本相似度 — TF-IDF和BM25算法

1,$TF-IDF$算法

  $TF$是指归一化后的词频,$IDF$是指逆文档频率。给定一个文档集合$D$,有$d_1, d_2, d_3, ......, d_n \in D$。文档集合总共包含$m$个词(注:一般在计算$TF-IDF$时会去除如“的”这一类的停用词),有$w_1, w_2, w_3, ......, w_m \in W$。我们现在以计算词$w_i$在文档$d_j$中的$TF-IDF$指为例。$TF$的计算公式为:

    $ TF = \frac{freq(i, j)} {max_{len}(j)} $

  在这里$freq(i, j)$ 为$w_i$在$d_j$中出现的频率,$max_{len}(j)$为$d_j$长度。

  $TF$只能时描述词在文档中的频率,但假设现在有个词为”我们“,这个词可能在文档集$D$中每篇文档中都会出现,并且有较高的频率。那么这一类词就不具有很好的区分文档的能力,为了降低这种通用词的作用,引入了$IDF$。

  $IDF$的表达式如下:

    $IDF = \log (\frac {len(D)} {n(i)})$

  在这里$len(D)$表示文档集合$D$中文档的总数,$n(i)$表示含有$w_i$这个词的文档的数量。

  得到$TF$和$IDF$之后,我们将这两个值相乘得到$TF-IDF$的值:

    $TF-IDF = TF * IDF$ 

  $TF$可以计算在一篇文档中词出现的频率,而$IDF$可以降低一些通用词的作用。因此对于一篇文档我们可以用文档中每个词的$TF-IDF$组成的向量来表示该文档,再根据余弦相似度这类的方法来计算文档之间的相关性。

 

2,$BM25$算法

  $BM25$算法通常用来做搜索相关性评分的,也是ES中的搜索算法,通常用来计算$query$和文本集合$D$中每篇文本之间的相关性。我们用$Q$表示$query$,在这里$Q$一般是一个句子。在这里我们要对$Q$进行语素解析(一般是分词),在这里以分词为例,我们对$Q$进行分词,得到$q_1, q_2,......, q_t$这样一个词序列。给定文本$d \in D$,现在以计算$Q$和$d$之间的分数(相关性),其表达式如下:

    $Score(Q, d) = \sum_{i = 1}^t w_i * R(q_i, d)$

    上面式子中$w_i$表示$q_i$的权重,$R(q_i, d)$为$q_i$和$d$的相关性,$Score(Q, d)$就是每个语素$q_i$和$d$的相关性的加权和。

  $w_i$的计算方法有很多,一般是用$IDF$来表示的,但这里的$IDF$计算和上面的有所不同,具体的表达式如下:

    $w_i = IDF(q_i) = \log \frac {N - n(q_i) + 0.5} {n(q_i) + 0.5}$

  上面式子中$N$表示文本集合中文本的总数量,$n(q_i)$表示包含$q_i$这个词的文本的数量,$0.5$主要是做平滑处理。

  $R(q_i, d)$的计算公式如下:

    $R(q_i, d) = \frac {f_i * (k_1 + 1)} {f_i + K} * \frac {qf_i * (k_2 + 1)} {qf_i + k_2}$

  其中

    $K = k_1 * (1 - b + b * \frac {dl} {avg dl})$

  上面式子中$f_i$为$q_i$在文本$d$中出现的频率,$qf_i$为$q_i$在$Q$中出现的频率,$k_1, k_2, b$都是可调节的参数,$dl, avg dl$分别为文本$d$的长度和文本集$D$中所有文本的平均长度。

  一般$qf_i = 1$,取$k_2 = 0$,则可以去除后一项,将上面式子改写成:

    $R(q_i, d) = \frac {f_i * (k_1 + 1)} {f_i + K}$

  通常设置$k_1 = 2, b = 0.75$。参数$b$的作用主要是调节文本长度对相关性的影响。

  

posted @ 2019-03-12 14:25  微笑sun  阅读(18177)  评论(0编辑  收藏  举报