A/B test小结

1、何为A/B test

A/B test 是一种在线测试的方法，常用于新产品或新功能的测试。
我们为新产品设置A/B两个版本，在同一个时间维度，让组成成分相同或相似的两组用户去访问这两个版本，收集体验数据，最后分析出更好的版本。

2、如何A/B test

使用A/B-test首先需要建立一个待测试的版本服务，这个版本服务可能在标题、字体、排版、背景颜色、措辞等方面与原有版本服务有所不同，然后将这两个版本服务以随机的方式同时推送给测试用户。接下来分别统计两个版本的用户转化率指标，然后根据样本数据进行显著性检验。

3、测试目的

页面（版本）的某一特定更新对转化率指标（如UV-线索转化率、UV-上架转化率、UV-成交转化率或者线索-上架转化率等）的影响效果。

4、A/B test 案例

1、Amazon首次开始做个性化推荐时，他们想看一下用户是否真的会购买更多商品，他们发现，由于个性化推荐，他们的收益有了显著增加。
2、Linkedin测试了一个改变，尝试确定他们是否应显示新文章还是鼓励大家增加新联系人，这就是排名变动。
3、100ms的页面加载时间不是很多，但是 Google 和 Amazon 都运行了测试。Amazon 在2007年证实，每个页面增加 100ms 的延时，会导致收入降低 1%。对于Google，也得到了相似的结果。 你可以发现，平均来看，100ms 看起来并不多，但每增加 100ms 的延迟，人们查询的数量真的降低了。

【参考资料】简书 Lilyabao