2.评价推荐系统 & 策略验证方法

一、推荐系统评价指标

• CTR（点击率）= 点击量 /曝光量
  • 　　CTR只能作为本系统不同策略的比较指标，不同系统的CTR比较没有意义
  • 　　缺点在于，对三俗内容点击率可能比较高，避不开长尾问题
• UCTR = 有点击行为对的用户 / 访问用户总量
  • 　　如果CTR高，UCTR底说明可能存在用户流失。
• 覆盖度 = 推出内容量 / 库内容量
  • 　　对于UDC平台（用户为信息创造者），用户生产内容长时间不被消费意味着生产者流失。
  •        小众内容不被曝光，推荐系统进入信息茧房。

针对特定的产品形态

　　小视屏： 人均时长 = 总观看时长 /总人数

　　商品：     购买率 = 购买人数 /总人数

 

二、策略验证之 AB test

原则：控制变量&避开特殊情况（如11.11）

了解AB Test之前首先了解一个属于 baseline（基线），顾名思义，基础策略，机器学习和深度学习过程中，幺六型baseline的学习，

实战中，成熟的推荐系统都是在baseline基础之上新增策略。

 

例如。

CTR

日期	bucket1	bucket2
12月6日	7%	7.2%
12月7日	7.2%	7.5%

 

 

b2-b1 = 0.02

b2-b1 = 0.03

效果提升了0.1个点。

---

 

部分公司AABtest，有两个基线筒。

试验后，新增册率如果对效果影响不大，说明新策略和原有策略存在荣誉。

适当的冗余可以提高筒的稳定性。

有时候，新策略的效果给leader看了效果可能不好，还是会上，这是为什么呢？

因为，新策略往往会破除长尾效应，和信息茧房。