排序指标 --- 1、平均准确率均值 (Mean Average Precision-MAP) & 2、NDCG (normalized discounted CG-cumulative gain,累计增益)

http://sofasofa.io/forum_main_post.php?postid=1002561

可能大家接触比较多的是MAP,MAP考虑的是0和1的排序。而NDCG则是考虑到评分的排序。

说到NDCG就需要从CG开始说起。

CG(cumulative gain,累计增益)可以用于评价基于打分/评分的个性推荐系统。假设我们推荐k个物品,这个推荐列表的CGk计算公式如下:

CGk=∑i=1kreli.
reli表示第k个物品的相关性或者评分。假设我们共推荐k个电影,reli可以是用户对第i部电影的评分。

比如豆瓣给用户推荐了五部电影,

M1,M2,M3,M4,M5,

该用户对这五部电影的评分分别是

5, 3, 2, 1, 2

那么这个推荐列表的CG等于
CG5=5+3+2+1+2=13.
CG没有考虑推荐的次序,在此基础之后我们引入对物品顺序的考虑,就有了DCG(discounted CG),折扣累积增益。公式如下:

DCGk=∑i=1k2reli−1log2(i+1).
比如豆瓣给用户推荐了五部电影,

M1,M2,M3,M4,M5,

该用户对这五部电影的评分分别是

5, 3, 2, 1, 2

那么这个推荐列表的DCG等于
DCG5=25−1log22+23−1log23+22−1log24+21−1log25+22−1log26=31+4.4+1.5+0.4+1.2=38.5
DCG没有考虑到推荐列表和每个检索中真正有效结果个数,所以最后我们引入NDCG(normalized discounted CG),顾名思义就是标准化之后的DCG。

NDCGk=DCGkIDCGk
其中IDCG是指ideal DCG,也就是完美结果下的DCG。

继续上面的例子,如果相关电影一共有7部

M1,M2,M3,M4,M5,M6,M7
该用户对这七部电影的评分分别是

5, 3, 2, 1, 2 , 4, 0

把这7部电影按评分排序

5, 4, 3, 2, 2, 1, 0

这个情况下的完美DCG是
IDCG5=25−1log22+24−1log23+23−1log24+22−1log25+22−1log26=31+9.5+3.5+1.3+1.2=46.5
所以

NDCG5=DCG5IDCG5=38.546.5=0.827
NDCG是0到1的数,越接近1说明推荐越准确。

 

posted on 2020-04-06 21:45  TMatrix52  阅读(863)  评论(0编辑  收藏  举报

导航