AB-test架构设计+数据分析+概率统计+书记+文章分类汇总

AB-test已经得到越来越多的公司的青睐，部门公司组建了自己的AB-test平台，还有一部分公司使用已经开发的AB-test平台进行调用。同时，AB-test涉及的内容较多，不论是为了实现，还是为了改进，以及向优秀方法看齐，都需要一份AB-test架构，假设检验，数据分析，case分析等系统性的地图指南，而目前都比较分散。后面会逐渐汇总相关的技术，方法，平台等内容，供AB-test相关人员交流学习。

1. 宏观视野：

成熟AB-test平台：Optimizely     EXP(微软）     VWO      吆喝科技AB      Zoho PageSense      Convert

AB-test架构介绍：Uber      Linkedin      美团概览      阿里妈妈AB概览      携程AB概览

实现方式：python实现(偏分析）    python库(完整）      google版本(github)     wasabi(github)

交流论坛：quora

AB课程学习：XP2(AB-test)课程       ORACLE(ab-test主题）

 

 

2. 微观视野：

假设检验方法：参数检验：Welch's t-test      Dunnett's      SPRT

                       非参数检验：Mann-Whitney U test      卡方检验       bootstrap(python实现）       jackknife

不同类型指标处理办法：比率指标检验

p-value处理方法：BH方法(Benjamini-Hochberg)

AB-test案例分享：AB Tasty

 

3. 问题汇总：

AB-test失败原因：

 

4. 精华文章：

1. 14 AB Testing Sample Size Issues and Mistakes That Can Ruin Your Test

2.  A Robust Statistical Test for Ration Metrics

3.  On Heavy-user Bias In A/B Test

4.  【方差缩减】Having issues with under-powered A/B tests? Try controlling your variability

5.  【AB-test文章Linkedin】A/B Testing Articles

6.  A/B Testing UX for Component-based Frameworks