排序指标 --- 1、平均准确率均值 (Mean Average Precision-MAP) & 2、NDCG (normalized discounted CG-cumulative gain,累计增益)

NDCG(归一化折扣累积增益)和MAP(平均精度均值)两个评估指标的详细解释,结合它们在信息检索、推荐系统及RAG(检索增强生成)系统中的应用场景、计算方法和核心差异:

一、NDCG(Normalized Discounted Cumulative Gain)​

1. ​定义与核心思想

NDCG是一种衡量排序质量的指标,特别关注排名列表中相关项目的位置和相关性等级。其核心思想是:​排名靠前的相关项目对用户的价值更高,因此需对高排名位置的相关性赋予更大权重,并通过归一化处理消除不同长度结果集的偏差。

2. ​计算方法

  1.  

  2. DCG(折扣累积增益)​:计算前k个结果的累积增益,并对位置进行对数折扣。其中,reli表示位置i的相关性评分(如二元评分0/1或多级评分1-5)

  3.  

     ​IDCG(理想DCG)​:对同一查询的理想排序(相关项全部靠前)计算DCG值

  4.  NDCG:将实际DCG与理想DCG的比值作为最终结果:​范围:0(最差)到1(完美排序)

  5.  特点与适用场景

    • ​优势:
    • 处理多级相关性评分(如推荐系统中的“相关”“部分相关”“不相关”)
      • 归一化特性便于不同长度结果集的横向比较。
    • ​局限性:
      • 依赖人工标注的相关性数据,数据质量要求高
      • 对部分反馈敏感,需数据清洗
    • ​典型场景:搜索引擎结果排序、推荐列表质量评估、RAG系统的检索组件优化

posted on 2020-04-06 21:45  TMatrix52  阅读(1080)  评论(0)    收藏  举报

导航