AB测试概率类指标-Z检验

背景

 

 

 

明确指标，说明这是一个均值类指标还是比例类指标

 

如何给出实验假设

 

 

提出假设

 

计算实验样本的数量是多少

实验样本量计算器

https://bowei-zhang.shinyapps.io/Sample_Size_Calculator

【填写实验样本数量是多少】 259120

 

实验实施收集数据

 

计算出来的是9—10实验时长

 

拿到下面工程师给的A/B测试实验数据，如何得出A/B测试结论？

 

代码：

# Python 计算Z检验置信区间
# 概率类指标，A/B测试使用Z检验计算置信区间


'''
这里修改成自己实际项目的对于数据
下面是实战项目：美团运营活动优化A/B测试结果数据
'''
#实验组样本量
shin = 145119
#实验组转化人数
shiz=19976

#对照组样本量
duin = 145265
#对照组转化人数
duiz=17501


#用于数学计算的包
import math
#实验组转化率
ship = shiz/shin
print(ship)
#对照组转化率
duip = duiz/duin
print(duip)

#计算置信区间
lower = (ship-duip) - 1.96 * math.sqrt(ship*(1-ship)/shin+duip*(1-duip)/duin)
upper= (ship-duip) + 1.96 * math.sqrt(ship*(1-ship)/shin+duip*(1-duip)/duin)

#输出置信区间
print(lower,upper)

运行结果：

0.13765254721986783
0.12047637077066052
0.01473803001922366 0.019614322879190963

Process finished with exit code 0

　　

分析结果做出决策