推荐算法闲谈：如何在不同业务场景下理解和拆解核心指标

推荐算法闲谈：如何在不同业务场景下理解和拆解核心指标

在推荐系统工程实践中，实验业务指标分析能力也是一名算法工程师的在工作中逐渐积累能力。模型能力、特征工程、训练技巧解决的是能不能学好，而指标分析解决的是这次改动是否真正创造了业务价值，以及为什么。

一个非常常见、但又极易被忽视的事实是：推荐系统并不存在一套放之四海而皆准的核心业务指标。不同产品形态、不同交互方式、不同公司发展阶段，其最优目标函数本身就不同。算法工作的第一步，并不是建模，而是明确在当前场景下，系统究竟在为谁优化什么。下面以作者的经验谈一谈如何在不同业务场景下理解和拆解核心指标。

一、不同推荐场景下的核心线上指标：由关键行为决定

1. 内容型信息流（抖音 / 小红书 / 百度 App Feed）

在典型的内容型平台中，推荐系统承担的是用户注意力分配器的角色。其长期目标并非单次点击最大化，而是用户规模 × 用户使用深度。

因此，最核心的线上指标通常是：

• DAU（Daily Active Users）：用户规模与留存能力的直接体现；
• 分发量（曝光 / 点击次数）：系统供给效率与用户响应的体现；
• 观看时长（Watch Time）：用户对内容的真实消费深度。

在列表页（Feed 流）场景下，这三者共同构成一个完整的行为链条：

\[\text{曝光} \rightarrow \text{点击} \rightarrow \text{消费（时长）} \]

其中：

• 点击更偏兴趣触发；
• 时长更偏内容质量验证。

工程实践中，只优化 CTR 而忽视时长，几乎一定会引入点击欺骗或低质内容问题。

2. 沉浸式推荐场景（短视频连续滑动）

在沉浸式场景下，用户不再显式点击，而是通过是否继续滑动表达偏好。交互范式发生变化，指标体系也必须随之调整。

此时：

• 点击指标失去意义；

• 关注重点转为：

  • DAU：用户是否愿意进入沉浸式场景；
  • 单用户时长 / Session 时长：是否愿意持续消费。

从目标函数角度看，沉浸式推荐更接近：

\[\max ; \mathbb{E}[\text{Session Watch Time}] \]

而不是 CTR 最大化问题。
这类场景的本质是时间竞争，而非内容点击竞争。

3. 应用商店 / 下载型推荐

在应用商店、游戏下载等场景中，推荐系统更接近一个转化漏斗优化器。

典型指标分层如下：

• 线上核心指标：下载量（Install）

• 过程指标：

  • CTR：是否感兴趣；
  • CVR：是否完成下载。

推荐系统在这里承担的是将有限曝光转化为真实安装的职责，其目标可以抽象为：

\[\max ; \sum_i \mathbb{P}(\text{click}_i) \cdot \mathbb{P}(\text{install}_i \mid \text{click}_i) \]

4. 电商推荐

在电商场景中，推荐系统直接服务于商业变现，最终目标高度明确：

• GMV（Gross Merchandise Volume）

而 DAU、点击、加购、下单等指标，全部都是 GMV 的中间变量。

典型分解关系为：

\[\text{GMV} = \sum_i \text{曝光}_i \cdot \text{CTR}_i \cdot \text{CVR}_i \cdot \text{客单价}_i \]

因此，电商推荐中的任何指标提升，都必须回答一个问题：
是否以可解释的方式推动了 GMV？

小结

推荐系统的核心线上指标，本质上取决于用户在该场景下最重要的一次关键行为是什么。
算法不是在优化指标本身，而是在优化用户行为的发生概率。

二、为什么实验分析不能只看大盘指标

DAU、总时长、总分发等大盘指标只能回答一个问题：

这个改动整体上是正向，还是负向？

但它们无法回答原因。

在真实工程实践中，一个指标上涨，可能来自：

• 某一类用户暴涨；
• 某一类内容被过度放大；
• 流量结构发生迁移；
• 模型过拟合某一子分布。

因此，实验分析的核心不是看结果，而是分析结果。

三、实验分析中的关键拆解维度

1. 按用户活跃度拆解

常见分桶方式包括：

• 新用户；
• 低活跃用户；
• 高活跃用户。

这是为了判断：

• 模型是在拓展用户规模，还是关注核心用户；
• 是否存在对新用户不友好的风险。

2. 按资源类型拆解

如：

• 视频 vs 图文；
• 长视频 vs 短视频；
• 强互动内容 vs 弱互动内容。

这是为了判断：

• 模型是否改变了内容供给结构；
• 是否存在资源类型之间的挤占效应；
• 以及分析改动主要对哪些资源和场景产生影响。

3. 按场景拆解

例如：

• 列表页；
• 沉浸式页；
• 二跳页。
  很多模型改动只在特定场景有效，如果不拆解，极易被大盘掩盖。

四、一个合格的改动，必须在实验前给出清晰、可验证的指标预期

在实际工作中，一个推荐算法工程师在提交实验前，脑子里往往已经有了大概的预期收益点。

这一推演，通常围绕三个问题展开。

1. 这次改动，本质上到底改了什么

从经验上看，绝大多数推荐系统改动，都可以被严格归类到三类之一，而且不同类型的改动，其风险点和预期指标也完全不同。

（1）样本分布变化

这是线上最常见、但也最容易被低估影响的一类改动。

典型例子包括：

• 放宽或收紧正样本定义（如完播阈值、有效点击阈值）；
• 调整采样策略（如增加低活跃用户样本占比）；
• 引入/移除某一类场景或用户样本。

经验判断：

• 样本分布变化，往往优先影响的是模型输出的校准性而非排序能力；
• 很容易出现离线 AUC 几乎不变，但线上 CTR / 时长发生明显偏移的情况；
• 对新用户、低活跃用户的影响通常大于核心用户。

因此，这类改动在实验前，往往就需要预期：

• 哪一类用户的指标会最先变化；
• 是否可能引入短期收益、长期风险（例如过度迎合轻度行为）。

（2）特征表达变化

这类改动通常是算法感知世界的方式发生了变化。

例如：

• 新增中长期行为特征；
• 调整统计窗口（如 7 天 → 30 天）；
• 引入跨场景、跨资源的聚合特征。

经验判断：

• 特征表达变化，往往首先影响模型的区分能力；
• 离线 AUC 提升通常较为明显；
• 但线上效果高度依赖于特征是否稳定、可泛化。

一个非常常见的现象是：
离线指标提升显著，但线上只有特定人群或特定资源受益。
因此，需要在实验前就明确：

• 哪类用户行为被增强建模；
• 是否会导致推荐结果更加收敛或发散。

（3）模型能力变化

如：

• 网络结构调整；
• 多目标权重变化；
• 新的辅助任务引入。

经验判断：

• 模型能力变化往往是最慢生效、但上限最高的一类改动；
• 初期实验波动大，对数据分布极其敏感；
• 如果指标上涨，通常具有较好的可持续性。

但同时，这类改动也是最容易被数据噪声掩盖真实价值的。

2. 这次改动，最直接影响的是哪些用户行为

有经验的算法工程师在看实验时，很少直接盯着 DAU 或总时长，而是先问一个问题：

这次改动，最先改变的用户“微观行为”是什么？

常见的行为层变量包括：

• 点击概率：
  \[\mathbb{P}(\text{click}) \]

• 单次消费深度：
  \[\mathbb{E}[\text{watch time} \mid \text{click}] \]

• 行为稳定性（如是否减少“点进即退”）。

举一个非常典型的例子：

• 如果你引入的是更强的兴趣相关特征，合理预期往往是：

  • CTR 先涨；
  • 但如果内容供给质量未同步提升，单次时长可能不变甚至下降。

• 如果你优化的是完播或时长目标，经验上常见的现象是：

  • CTR 变化不大；
  • 但点击后的消费深度显著提升；
  • 在沉浸式场景中效果更明显。

一个重要经验是：
部分改动，并不会同时提升点击概率和消费深度，它们之间往往存在 trade-off。

3. 行为变化，如何一步步传导到线上业务指标

这是区分会做实验和会分析实验的关键。

一个成熟的分析逻辑，通常会明确如下链路：

\[\text{模型输出变化} \rightarrow \text{用户行为变化} \rightarrow \text{场景级指标变化} \rightarrow \text{大盘指标变化} \]

例如：

• CTR 上涨 ≠ 分发一定上涨
  在流量受限或排序强竞争场景中，CTR 提升可能只是内部重排。

• 单次时长上涨 ≠ 总时长上涨
  如果 session 数下降，可能被完全抵消。

经验丰富的工程师在实验前，往往就会提前判断：

• 哪些指标是必然变化的；
• 哪些指标是依赖系统联动的；
• 哪些变化如果出现，反而是危险信号。

如果一个改动无法理清这条传导路径，那么即使实验结果为正，也需要保持高度谨慎。

五、离线指标与线上指标的关系：能力代理，而不是目标本身

在大厂推荐系统中，离线指标的定位其实非常明确：

离线指标衡量的是模型有没有学到某种能力，而不是业务是否成功。

从经验角度看，可以这样理解：

• AUC / Logloss：衡量排序区分能力是否存在；
• 分目标 AUC：衡量模型是否对某类行为更敏感；
• 分桶 AUC：衡量能力是否集中在关键人群或资源上。

真正有价值的离线分析，往往不是一句整体 AUC 提升了，而是类似这样的判断：

在高活跃用户 + 视频资源 + 沉浸式场景下，完播目标 AUC 提升，与线上该人群的单 session 时长提升趋势一致，符合预期。

如果离线能力提升：

• 只集中在非核心场景；
• 或只体现在极小流量子集；

那么线上指标不动，反而是合理结果，而不是实验失败。

六、整体方法论总结

可以将推荐系统的实验分析抽象为一条完整的因果路径：

\[\text{模型/策略改动} \rightarrow \text{用户行为变化} \rightarrow \text{离线能力变化} \rightarrow \text{线上业务指标变化} \]

在实践中，不仅要关注这次实验涨了多少，而且要清楚为什么涨、是否可控、是否可持续。