电商平台价格实验的科学方法

电商平台价格实验的科学方法

产品价格反映需求、季节性和经济趋势等多重因素。定价策略通常采用考虑这些因素的公式，而较新的定价策略则依赖机器学习模型。通过某中心的定价实验室，可以进行一系列在线A/B实验来评估新定价策略。由于采用非歧视性定价原则（即所有访客在同一时间看到相同产品的相同价格），实验设计需将处理应用于产品价格随时间变化，而非同时测试不同客户的不同价格点，这增加了实验设计的复杂性。

实验类型

时间限制实验

最简单的实验类型是时间限制实验，对某类别中的部分产品应用处理，其他产品作为对照组。此类实验的潜在噪声源是外部事件（如其他商店的临时折扣）可能影响处理效果。

触发式实验

若能提前定义此类事件，可进行触发式干预，将处理和对照期的开始时间与事件发生时间同步，导致不同产品的实验开始时间错开。

交叉实验

若需求曲线相似且处理组与对照组结果差异显著，时间限制和触发式实验可能足够。但为了更精确评估定价策略，可能需要在同一产品上运行处理和对照实验，如典型的A/B测试，这需要切换实验。

最直接的切换实验是随机天数实验，每天每个产品随机分配到对照组或处理组。分析表明，随机天数可将实验结果的标准误差降低60%。

然而，任何切换实验的缺点之一是残留效应的风险，即处理效果从实验的处理阶段延续到对照阶段。例如，若处理增加产品销量，推荐算法可能更频繁推荐该产品，这可能在对照期人为提升销量。

应对残留效应

可通过在转换到处理和对照阶段时设立黑屏期来应对残留效应。例如，在交叉实验中，可能对组中的某些产品应用处理，其他作为对照，但丢弃第一周的数据。然后，在收集足够数据（如两周）后，对前处理组移除处理并应用于前对照组。再次丢弃第一周数据，让残留效应消退。

交叉实验可将结果测量的标准误差降低40%至50%，虽不如随机天数，但缓解了残留效应。

异质面板处理效应

某中心定价实验室还提供两种更复杂的定价策略评估方法，第一种是异质面板处理效应（HPTE）。

HPTE是一个四步过程：

1. 从去趋势数据估计产品级第一差异。
2. 过滤异常值。
3. 使用因果森林从分组产品估计第二差异。
4. 通过自助法数据估计噪声。

在标准双重差分（DID）分析中，第一差异是实验开始前后单个产品结果的差异。然而，并非简单从处理后结果减去处理前结果，而是分析历史趋势以预测如果产品在处理期间未处理会发生什么，然后从观察结果中减去该预测。

定价实验中，经常有未观察因素导致结果测量极端波动。将异常值的截止点定义为结果分布的百分比（分位数），与数据中产品数量成反比。该方法先前已使用，但通过模拟验证。

在DID分析中，第二差异是处理组和对照组第一差异的差异。由于考虑异质产品组，仅对具有足够亲和力的产品计算第二差异，以使比较信息丰富，然后跨产品平均第二差异。

为计算亲和力分数，使用决策树的变体称为因果森林。典型决策树是连通无环图（树），每个节点代表一个问题，如“是否需要可更换电池？”或“宽度是否大于三英寸？”。问题的答案决定遵循树的哪个分支。

因果森林由许多此类树组成。问题从数据中学习，并定义数据显示最大方差的轴。因此，用于训练树的数据无需标注。

训练因果森林后，用它评估实验中的产品。到达树同一终端节点（叶）的处理组和对照组产品被视为足够相似，应计算其第二差异。

为计算标准误差，从数据集中随机抽样产品并计算其平均处理效果，然后返回数据集并再次随机抽样。多次重采样允许计算结果测量的方差。

溢出效应

在某中心定价实验室，还研究了衡量溢出效应的方法，即处理一个产品导致另一个类似产品需求变化，这可能干扰处理效果测量。

例如，若新定价策略增加某厨房椅子的需求，更多客户将查看该椅子的产品页面。然而，部分客户可能购买页面“发现类似物品”部分列出的其他椅子。

若第二把椅子在对照组，其销量可能因第一把椅子的处理而人为增加，导致低估处理效果。若第二把椅子在处理组，其销量增加可能导致高估处理效果。

为校正溢出效应，需要测量它。该过程的第一步是构建需求相关产品图。

从根据某中心目录细粒度分类等标准相关的产品列表开始。对于每对相关物品，查看一年数据以确定一个价格变化是否影响另一个需求。若这些连接足够强，通过可替代物品图中的边连接产品。

从图中计算任何给定对可替代产品包含在同一实验中的概率，以及它们被分配到处理组还是对照组。从这些概率，可使用逆概率加权方案估计溢出对观察结果的影响。

然而，估计溢出效应不如消除它。一种方法是将可替代产品视为单个产品类，并整体分配到处理组或对照组。这确实降低了实验效力，但给业务伙伴信心结果未受溢出污染。

为确定每个产品类中包含哪些产品，使用聚类算法搜索可替代产品图中密集互连区域，并切断这些区域与图其余部分的连接。在迭代过程中，这将图分区为密切相关的产品簇。

在模拟中，发现此聚类过程可将溢出偏差减少37%。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码