搜索排序算法

排序模型LTR(L2R,learning to rank)

  • Pointwise:对排序列表中的每一项,直接学习一个值,比如可以是预估点击率(Predict CTR,pCTR),然后按照预估值从大到小排序即可。常见模型有LR、FFM、GBDT、XGBoost。GBDT是LTR中应用较多的非线性模型。Additive Groves(简称AG)是在随机森林基础上构建的模型,加入Bagging算法,使得模型的泛化能力更强。AG由很多Grove 组合(bagging)而成,每一个Grove由多棵树组成,在训练时每棵树的拟合目标是真实值与其它树预测结果之和的残差。在训练的过程中达到了指定数目的树时,重新训练的树会替代掉以前的树。谷歌提出的FTRL方法能够在线对线性模型进行更新。
  • Pairwise:两两学习两个项的先后关系。常见模型有GBRank、RankNet、LambdaMart、RankSVM。Pairwise模型是指所有文档两两组成一个pair,比如(X1,X2),如果X1的分值大于X2则将该pair当作正例+1,否则为负例-1. Pairwise的效果通常好于Pointwise(学术界是如此,工业界也越来越多用Pairwise了)。LambdaMart是Lambda和MART(Multiple Additive Regression Tree,GBDT的别名)的结合,是GBDT的一种针对排序问题的改进。在计算梯度时LambdaMart重新计算了Lambda,重新赋予了排序梯度的物理意义,它利用sigmoid来计算各pair的排序概率,使用交叉熵作为损失函数来判断拟合程度,并将排序离线指标(如MAP、NDCG)考虑到梯度中去。
  • Listwise:将列表的最佳排序当作最终的优化目标,通过预测分布和真实排序分布的差距来优化模型,典型的模型如ListNet。引入规范化带折扣的累计收益(Normalized Discounted Cumulative Gain,NDCG)作为衡量列表排序质量的指标,以保证排序效果达到列表级别的最优。

下面介绍几个经典的排序模型及损失函数。

RankSVM

RankSVM 是配对法排序学习(Pairwise)的经典模型,通过SVM对query-(doc pair)进行打分和排序。RankSVM的输入特征维query-(doc pair)的特征差值,即 \(X_1-X_2\),标签为相对顺序(+1,-1)。

这和DSSM的双塔结构,每个塔单独输入query或doc的特征的方式有着显著的差别。

GBRank

GBRank 由雅虎提出,基本学习器是梯度提升器(Gradient Boosting Machine,GBM)。对于所有的x>y的N个偏序对的训练样本,其损失函数可定义为:

\[\begin{align} L_1 &=\sum_{i=1}^N \max(0,h(y_i)-h(x_i)) \\ L_2 &={1\over 2}\sum_{i=1}^N (\max(0,h(y_i)-h(x_i)))^2 \end{align} \]

在使用梯度下降求解时,第m次迭代更新h:\(h(y_i^m)=h_{m-1}(y_i)-\rho_m\times{\partial L_2^{m-1}\over \partial y_i}\).只有当偏序预测错误时才进行更新,此时有\(h(y_i^m)=h(x_i^{m-1});\ h(x_i^m)=h(y_i^{m-1})\).在偏序学习正确时还需要保证学习的更健壮,因此需要让差值足够大,损失函数修改如下(Hinge loss与MSE的混合体):

\[L_3={1\over 2}\sum_{i=1}^N (\max(0,\tau+h(y_i)-h(x_i)))^2 \]

这样在偏序学错后,更新:\(h(y_i^m)=h(x_i^{m-1})-\tau;\ h(x_i^m)=h(y_i^{m-1})+\tau\).

GBRank对所有GBM采用了归一化处理:\(h_m(x)={mh_{m-1}(x)+\eta g_m(x)\over m+1}\),其中\(\eta\)为收缩率。

RankNet - Logistic Pairwise loss

RankNet由博格斯提出(微软,ICML2005),比GBRank更早的提出观点:偏序学习可以避免建模过程中将每条样本映射为确切的排序值,而只需学习排序先后的偏序关系即可。RankNet通过神经网络来学习先后偏序的概率。设学习的目标概率是\(\bar P_{xy}\),当x排序在y之前(x>y)时,\(\bar P_{xy}=1\),反之为0,不能确定偏序关系时值为0.5. 设输入x,y对应的输出值分别为\(f(x),f(y),O_{xy}=f(x)-f(y)\),偏序预测值为\(\text{sigmoid}(O_{xy})={1\over 1+e^{-O_{xy}}}\). 损失函数定义为交叉熵损失(Logistic Pairwise loss):

\[\begin{align} L_{xy}&=-\bar P_{xy}\log P_{xy}-(1-\bar P_{xy})\log(1-P_{xy}) \\ &=-\bar P_{xy}[O_{xy}-\log(1+e^{O_{xy}})]+(1-\bar P_{xy})\log(1+e^{O_{xy}}) \\ &=-\bar P_{xy}O_{xy}+\log(1+e^{O_{xy}}) \end{align} \]

由于pair的偏序概率具有传递性,因此RankNet可以是O(n)的复杂度。由于RankNet以减少错误pair为优化目标,因此对NDCG(关心相关文档所在的位置)等指标衡量的效果不是太好(同样的RankSVM、GBDT等排序模型亦是如此)。后续的改进模型包括LambdaRank、LambdaMart。

开源实现:Ranklib包含了多种算法实现。

BPR loss

Bayesian personalized ranking (BPR) 是从最大后验估计推导而来的pairwise损失函数。

训练数据pair (u,i,j),表示用户u对item i的偏好高于item j。参数θ的后验估计通过bayes公式转化为 \(p(\Theta \mid >_u ) \propto p(>_u \mid \Theta) p(\Theta)\),从而有极大似然估计:

\[\begin{split}\begin{aligned} \text{BPR-OPT} : &= \log p(\Theta \mid >_u) \\ & \propto \log p(>_u \mid \Theta) p(\Theta) \\ &= \log \prod_{(u, i, j \in D)} \sigma(\hat{y}_{ui} - \hat{y}_{uj}) p(\Theta) \\ &= \sum_{(u, i, j \in D)} \log \sigma(\hat{y}_{ui} - \hat{y}_{uj}) + \log p(\Theta) \\ &= \sum_{(u, i, j \in D)} \log \sigma(\hat{y}_{ui} - \hat{y}_{uj}) - \lambda_\Theta \|\Theta \|^2 \end{aligned}\end{split} \]

先验概率 p(Θ) 是一个高斯分布,以零为均值,方差-协方差矩阵(对角线为方差,其它位置为协方差)为 \(\Sigma_\Theta\),并且令 \(\Sigma_\Theta = \lambda_\Theta I\) 可推导出BPR损失。

对BPR-OPT取反便得到非负的损失函数,第二项 \(\lambda_\Theta |\Theta |^2\)等同于L2正则项。

这与RankNet中的Logistic Pairwise loss相似:

\[\hat{\ell}({y}, \hat{{y}})=\sum_{j=1}^{n} \sum_{k=1}^{n} \mathbb{I}\left(y_{j}>y_{k}\right) \log \left(1+\exp \left(\hat{y}_{k}-\hat{y}_{j}\right)\right) \]

BPR loss增加了L2正则项。

参考:

Hinge loss

采用 Max-Margin 的 Hinge Loss:max⁡{0,margin-(S(Q,D+)-S(Q,D-))}

\[\text{Hinge loss} : = \sum_{(u, i, j \in D)} \max( m - \hat{y}_{ui} + \hat{y}_{uj}, 0) \]

LambdaMART - NDCG

LambdaMART 曾在微软 Bing 中使用了较长一段时间的模型,也在L2R这个领域享有盛誉。博格斯的团队意识到 RankNet 并不能直接优化搜索的评价指标(NDCG 或者 MAP 等)之后提出了 LambdaRank,使用NDCG的变化量对模型参数进行优化。随后把LambdaRank 和 GBDT 的思想结合起来,提出了更强的 LambdaMART。

Lambda 是被定义为两个文档 NDCG 的变化量(实际上用这个变化量乘以对数几率损失的梯度)。Lambda梯度更关注位置靠前的优质文档的排序位置的提升,有效的避免了下调位置靠前优质文档的位置这种情况的发生。

评价指标

Discounted Cumulative Gain(DCG)

如果将 Precision and Recall(P-R) 指标用于排序,会有两个明显缺点:

  • 所有item只被分为相关和不相关两档,分类显然太粗糙。
  • 没有考虑位置因素。

DCG解决了 P-R 的这两个问题。对于一个关键词,所有的文档可以分为多个相关性级别,这里以\(rel_1,rel_2,...\)来表示。文章相关性对整个列表评价指标的贡献随着位置的增加而对数衰减,位置越靠后,衰减越严重。

NDCG 是针对测试集的一个排序评价指标。NDCG 这个指标的假设是,在一个排序结果里,相关信息要比不相关信息排得更高,而最相关信息需要排在最上面,最不相关信息排在最下面。任何排序结果一旦偏离了这样的假设,就会受到“扣分”或者说是“惩罚”。

NDCG 是考虑到评分的排序,需要从CG开始说起。CG(cumulative gain,累计增益)可以用于评价基于打分/评分的个性推荐系统。假设我们推荐k个物品,这个推荐列表的累计增益计算公式如下:

\[CG_k=\sum_{i=1}^k \text{rel}_i \]

\(\text{rel}_i\) 表示第 i 个物品的相关性或者评分。假设我们共推荐k个电影,\(\text{rel}_i\) 可以是用户对第i部电影的评分。

比如豆瓣给用户推荐了五部电影: M1,M2,M3,M4,M5,该用户对这五部电影的评分分别是:5, 3, 2, 1, 2

那么这个推荐列表的CG等于 CG5=5+3+2+1+2=13.

CG没有考虑推荐的次序,在此基础之后我们引入对物品顺序的考虑,就有了DCG(discounted CG),折扣累积增益。公式如下:

\[DCG_k=\sum_{i=1}^k \frac{2^{\text{rel}_i}-1}{\log_2(i+1)} \]

那么这个推荐列表的DCG等于

\[DCG_5=\frac{2^5-1}{\log_2 2}+\frac{2^3-1}{\log_2 3}+\frac{2^2-1}{\log_2 4}+\frac{2^1-1}{\log_2 5}+\frac{2^2-1}{\log_2 6}=31+4.4+1.5+0.4+1.2=38.5 \]

对于排序引擎而言,不同请求的结果列表长度往往不相同。当比较不同排序引擎的综合排序性能时,不同长度请求之间的DCG指标的可比性不高。DCG没有考虑到推荐列表和每个检索中真正有效结果个数,目前在工业界常用的是 Normalized DCG(NDCG),它假定能够获取到某个请求的前p个位置的完美排序列表,这个完美列表的分值称为Ideal DCG(IDCG),NDCG等于DCG与IDCG比值。所以NDCG是一个在0到1之间的值。

完美结果下的DCG,即IDCG的定义如下:

\[\text{IDCG}_p=\sum_{i=1}^{|REL|}{2^{rel_i}-1 \over \log_2(i+1)} \]

|REL|代表按照相关性排序好的最多到位置p的结果列表。

\[NDCG_k=\frac{DCG_k}{IDCG_k} \]

继续上面的例子,如果相关电影一共有7部:M1,M2,M3,M4,M5,M6,M7,该用户对这七部电影的评分分别是:5, 3, 2, 1, 2 , 4, 0

把这7部电影按评分排序:5, 4, 3, 2, 2, 1, 0,这个情况下的完美DCG是:

\[IDCG_5=\frac{2^5-1}{\log_2 2}+\frac{2^4-1}{\log_2 3}+\frac{2^3-1}{\log_2 4}+\frac{2^2-1}{\log_2 5}+\frac{2^2-1}{\log_2 6}=31+9.5+3.5+1.3+1.2=46.5 \]

所以, \(NDCG_5 = \frac{DCG_5}{IDCG_5}=\frac{38.5}{46.5}=0.827\)

NDCG是0到1的数,越接近1说明推荐越准确。

参考: sofasofa

Mean Reciprocal Rank(MRR)

平均倒数排名(Mean Reciprocal Rank, MRR)是一个国际上通用的对搜索算法进行评价的机制。定义为多个查询语句的第一个正确答案的排名倒数的均值。主要用于寻址类检索(Navigational Search)或问答类检索(Question Answering)。

\[MRR=\frac{1}{|Q|} \sum_{i=1}^{|Q|} \frac{1}{\operatorname{rank}_i} \]

MRR为所有query的RR的平均值。其中,Q为样本query集合,rank i 表示在第i个query中,第一个正确答案的排名。

Expected Reciprocal Rank(ERR)

ERR (倒数排名的期望),表示用户的需求被满足时停止的位置的倒数的期望,是一个类似MRR的信息检索评价指标,但与 MRR 计算第一个相关文档的位置倒数不同。

与DCG相比,除了考虑位置衰减和允许多种相关级别(以R1,R2,R3...来表示)以外,ERR更进了一步,还考虑了排在文档之前所有文档的相关性。举个例子来说,文档A非常相关,排在第5位。如果排在前面的4个文档相关度都不高,那么文档A对列表的贡献就很大。反过来,如果前面4个文档相关度很大,已经完全解决了用户的搜索需求,用户根本就不会点击第5个位置的文档,那么文档A对列表的贡献就不大。

ERR的定义如下:

\[ERR=\sum_{r=1}^n{1\over r}\prod_{i=1}^{r-1}(1-R_i)R_r \]

其中 Ri是关于文档i相关度等级的函数,假设该函数为:\(R_i = \frac {2^{l_i} - 1}{2^{l_m}}\)\(l_m\) 表示相关性评分最高的一档。\(l_i\) 表示样本中第 i 个结果的相关度标记。第 r 个文档被点击的概率(用户需求停留在第r个文档)为 \(R_r \prod_{i=1}^{r-1} (1 - R_i)\)

如果将排名倒数 reciprocal rank 1/r 换成 1 / (log r+1), 则和 DCG 类似,只是分数计算方式不同(加法 vs 乘法)。

posted @ 2019-06-16 15:29  康行天下  阅读(6777)  评论(4编辑  收藏  举报