AI增强商品数据评估方法解析

评估AI增强商品数据的有用性

全球数百万客户依赖某中心庞大的在线商品目录（包含数亿商品信息）来做出明智的购买决策。为确保商品数据全面、一致且准确，商品目录团队使用多种机器学习模型——包括生成式AI模型，这些模型从商家列表、制造商网站、客户评论等来源合成文本和视觉信息以丰富商品数据。

生成式AI模型可从多种来源合成信息，旨在使产品信息更清晰简洁。

为确保证增强数据能改善客户体验，会进行A/B测试：部分客户接触增强信息，其他客户则看到当前替代内容。

生成式AI模型还能丰富商品相关图像。A/B测试中左侧为对照组图像，右侧为处理组图像。

但A/B测试可能产生机会成本，因为会延迟向部分客户推出目录改进，且维护两个后端系统资源密集。为应对这些挑战，提出两种科学方法。

基于机器学习的外推模型

首先致力于尽可能减少实验次数。开发了可扩展的基于机器学习的外推模型，有效整合先前 enrichment 计划实验的见解并应用于新场景。针对具体场景调整了因果随机森林方法（该方法本身是经典随机森林算法的扩展）。

在现有A/B实验训练过程中，算法随机选择训练和验证数据集，并生成因果决策树集合。每棵树将实验涉及的商品按特征相似度划分为更小子组，平衡按处理状态观察结果的样本内拟合度与验证数据集上的样本外性能。然后聚合所有因果树的不同预测，生成给定不同产品特征时 enrichment 效果的单一预测。模型训练完成后，可通过额外实验验证，比较预测与实际处理效果。

经验证的模型可用于测试不同商品对 enrichment 的响应差异。若存在差异，则可重点关注响应特别好的商品类别。此外，在全年处理不同商品类别时，可使用这些估计值预测并记录计划 enrichment 对客户的影响。例如，仅通过有限实验即可评估跨目录修正和完善产品信息工作的影响。

贝叶斯结构时间序列

当无法进行A/B实验时，可采用贝叶斯结构时间序列建模等观测建模技术。该方法综合了时间序列分析、合成控制方法和贝叶斯统计的思想。

在持续监测所有商品销售情况时，可为任何商品类别匹配反映其销售表现的合成对照组，并考虑销售趋势和季节性因素。若对某类商品进行 enrichment 后观察到销售表现显著差异，则可归因于 enrichment 工作。在贝叶斯框架下运行能够整合来自各种分析（包括A/B实验）的先验知识，并向业务利益相关者有效传达不确定性。

已在选定用例中通过A/B实验验证观测模型，并运用该方法评估大规模机器学习系统的影响，这些系统自动分类商品以提升客户通过搜索或浏览发现商品的概率。

通过增强的商品数据，客户能够做出更明智、更自信的购物决策。

致谢：Philipp Eisenhauer

研究领域：经济学

标签：A/B测试，生成式AI
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）

公众号二维码

公众号二维码