互联网AB Test与金融营销中的Control-Target组测试

互联网 AB 测试

• 统计原理
• 流程及关注事项

金融营销 control-target 分析

• control-taget分组
  一般在活动中设置，多见于 trigger类型消息推送，如短信/app提醒/banner展示。 Control-target 设置多分为用户或者对渠道端 2种。通过在sas端，或者 短信系统发送端 CIM处理分组

• 流程与设计特点

• （1） 多指标检验
  指标多，常规 6 项：=> 消费的人数（考虑本身有人自然回来），响应人(response rate)/消费数/额/人均额/人均数/票均额/
  有维度细分对比: => by 手机设备 消费类型 - 账单/零售/八达通/海外/本地/网上线下 商户类型

注意1：这里的指标多，可以认为是多次检验，可能存在多重检验问题。
注意2：护栏指标 - 负面/底线指标 ： 无
注意3：金融活动的触发事件，不像互联网那么频繁，时间跨度长，因此一次分析，或者实验，我们会设置多组对照

目标和测试特点

• 目的及特点
  互联网的AB test一般涉及到的问题都具体直接，因为流量大，客户行为相对容易采集，样本量大，测试时间短。讲究的是快速迭代。

  • 一般都是单一评价指标，比如比例类：转化率/点击率/响应率/续订率/激活率， 均值类：人均收入/人均点击量/人均下载量/播放时长/打开次数等。
  • 个别会考虑将一些指标组合，例如在 以提升订阅收入为目的的 AB测试中，不能单纯将 收入作为 指标，因为还有考虑骚扰客户带来的潜在损失，考虑指标为： 【利润 - 退订损失】
  • 样本量进行精确计算，也会进行全量

  金融营销领域中的分组测试，一般都是以整体策略为主，相对而言，测试是时间周期长，需要花费的成本较大，control-target分组.

  • 是否会用 统计检验 ？ 在定价 Price 类的会用，因为涉及到钱。比较重要的策略结论，需要实施/或者管理层特别关注的，需要严谨结论的时候，估计会用（因为我没有碰到过）。平常营销类就比较少
  • 多指标同时看，人/数/额/人均额/人均数/单均额/利润/，再按维度拆分 - 继续看一遍
  • 一般都是全量分析
  • 问题： control的分组存在不严谨情况； 一是策略类很多时候看长期，业务不愿为了一个测试，长期将一堆客户放着，不营销浪费机会。二是trigger有很多，另外也有其他活动交叉影响，长期来看， control组其实也被target了

流程差异对比

不是按照互联网AB测试预先设定好样本量，再做实验，做够了再，我们做一下对比分析，按照 A/B实验的思维做 分组定义，跟分析流程细节 的 审查。
问题之一： 这里的客户数，并不是相等的