假设检验、Z检验与T检验

作者|SUBHASH MEENA
编译|VK
来源|Analytics Vidhya

概述

  • 假设检验是统计学、分析学和数据科学中的一个关键概念

  • 了解假设检验的工作原理、Z检验和t检验之间的区别以及其他统计概念

介绍

冠状病毒大流行使我们大家都成了一个统计学家。我们不断地核对数字，对大流行将如何发展做出自己的假设，并对何时出现“高峰”提出假设。

不仅是我们在进行假设构建，媒体也在这方面蓬勃发展。

几天前，我读到一篇新闻文章，其中提到这次疫情“可能是季节性的”，在温暖的环境下会有所缓解：

所以我开始想，关于冠状病毒，我们还能假设什么呢？

  • 成人是否更容易受到冠状病毒爆发的影响？
  • 相对湿度如何影响病毒的传播？

有什么证据支持这些说法，我们如何检验这些假设呢？

作为一个统计爱好者，所有这些问题都挖掘了我对假设检验基本原理的旧知识。本文将讨论假设检验的概念以及Z检验与t检验的区别。

然后，我们将使用COVID-19案例研究总结我们的假设检验学习。

目录

  • 假设检验基础

    • 基本概念-零假设、替代假设、类型1错误、类型2错误和显著性水平
    • 进行假设检验的步骤
    • 定向假设
    • 非定向假设检验

  • 什么是Z检验？

    • 单样本Z检验
    • 双样本Z检验

  • 什么是t检验？

    • 单样本t检验
    • 双样本t检验

  • Z检验和t检验的决定

  • 案例研究：Python冠状病毒的假设检验

假设检验基础

让我们举一个例子来理解假设检验的概念。

一个人因刑事犯罪正在接受审判，法官需要对他的案件作出判决。现在，在这种情况下有四种可能的组合：

  • 第一种情况：此人是无辜的，法官认定此人是无辜的

  • 第二种情况：此人无罪，法官认定此人有罪

  • 第三种情况：此人有罪，法官认定此人无罪

  • 第四种情况：此人有罪，法官认定此人有罪

正如你可以清楚地看到的，在判决中有两种类型的错误。

  • 第一种错误：当判决是针对无辜的人时
  • 第二种错误：当判决是有利于有罪的人时

根据无罪推定，该人在被证明有罪之前被视为无罪。这意味着法官必须找到使他“毫无疑问”的证据。

这种“毫无疑问”的现象可以理解为概率（法官判定有罪|人无罪）应该很小。

假设检验的基本概念实际上相当类似于这种情况。

我们认为零假设是正确的，直到我们找到有力的证据反对它。那么。我们接受另一种假设。

我们还确定了显著性水平（⍺），这可以理解为（法官判定有罪|人是无罪的）在前面的例子中的概率。

因此，如果⍺较小，则需要更多的证据来拒绝零假设。别担心，我们稍后会用一个案例来讨论所有这些。

进行假设检验的步骤

进行假设检验有四个步骤：

  • 设定假设

  • 设定决策的重要程度和标准

  • 计算测试统计

  • 做决策

步骤1到步骤3是非常不言而喻的，但是我们可以根据什么在步骤4中做出决定？这个p值表示什么？

我们可以把这个p值理解为衡量辩护律师论点的标准。如果p值小于⍺，则拒绝零假设；如果p值大于⍺，则不拒绝零假设。

临界值，p值

让我们用正态分布的图形表示来理解假设检验的逻辑。

通常，我们将显著性水平设置为10%、5%或1%。

如果我们的测试分数在可接受范围内，我们就不能拒绝零假设。如果我们的测试分数在临界区，我们拒绝零假设，接受替代假设。

临界值是验收区和拒收区之间的截止值。我们将我们的测试分数与临界值进行比较，如果测试分数大于临界值，则意味着我们的测试分数位于拒绝区域，我们拒绝零假设。

另一方面，如果测试分数小于临界值，则意味着测试分数位于接受区，我们无法拒绝零假设。

但是，当我们可以根据测试分数和临界值拒绝/接受假设时，为什么我们需要p值？

p值的好处是我们只需要一个值就可以对假设做出决定。我们不需要计算两个不同的值，比如临界值和测试分数。

使用p值的另一个好处是，我们可以通过直接将其与显著性水平进行比较，在任何期望的显著性水平上进行测试。

这样我们就不需要计算每个显著性水平的考试分数和临界值。我们可以得到p值，并直接与显著性水平进行比较。

定向假设

在定向假设中，如果测试分数太大（右尾的测试分数太小，左尾的测试分数太小），则会拒绝零假设。因此，这种测试的拒绝区域由一个部分组成。

非定向假设

在非定向假设检验中，如果检验分数太小或太大，则拒绝零假设。因此，这种测试的拒绝区域由两部分组成：一部分在左侧，一部分在右侧。

什么是Z检验？

Z检验是检验假设的统计方法，当：

  • 我们知道人口的变化，或者

  • 我们不知道总体方差，但我们的样本量很大n≥30

如果样本量小于30且不知道总体方差，则必须使用t检验。

单样本Z检验

当我们想比较样本均值和总体均值时，我们执行单样本Z检验。

下面是一个了解单样本Z检验的示例

假设我们需要确定女生在考试中的平均分是否高于600分。

  • 我们得到的信息是女生成绩的标准差是100。
  • 因此，我们采用随机抽样的方法收集了20名女生的数据，并记录她们的成绩。
  • 最后，我们还将⍺值（显著性水平）设置为0.05。

在本例中：

  • 女生的平均分是641分

  • 样本的大小是20

  • 平均是600

  • 标准差为100

由于P值小于0.05，我们可以拒绝零假设，并根据我们的结果得出结论，女孩平均得分高于600。

双样本Z检验

当我们想要比较两个样本的平均值时，我们执行两个样本的Z检验。

下面是一个了解双样本Z检验的示例

这里，假设我们想知道女生的平均分是否比男生高出10分。

  • 我们得到的信息是，女生成绩的标准差是100，男生成绩的标准差是90。
  • 然后采用随机抽样的方法收集20名女生和20名男生的数据，记录她们的成绩。
  • 最后，我们还将⍺值（显著性水平）设置为0.05。

在本例中：

  • 女孩的平均分（样本平均值）是641

  • 男孩的平均分（样本平均值）为613.3

  • 女生标准差为100

  • 男生标准差是90

  • 男女样本量均为20

  • 平均分差异是10

因此，我们可以根据P值得出结论，我们不能拒绝零假设。我们没有足够的证据得出这样的结论：女生的平均分比男生高出10分。很简单，对吧？

什么是t检验？

t检验是检验假设的一种统计方法，当：

  • 我们不知道总体方差

  • 我们的样本量很小，n < 30

一个样本的t检验

当我们想要比较样本均值和总体均值时，我们执行一个单样本t检验。与Z检验的不同之处在于，我们这里没有关于总体方差的信息。

在这种情况下，我们使用样本标准差代替总体标准差。

下面是一个了解单样本t检验的示例

假设我们想确定女生平均考试成绩是否超过600分。我们没有与女孩分数的方差（或标准差）相关的信息。为了进行t检验

  • 我们随机收集了10名有分数的女孩的数据
  • 选择我们的⍺值（显著性水平）为0.05进行假设检验。

在本例中：

  • 女生的平均分是606.8分

  • 样本大小是10

  • 平均分是600

  • 样本的标准差为13.14

我们的P值大于0.05，因此我们无法拒绝零假设，也没有足够的证据来支持这样的假设：平均来说，女孩在考试中的得分超过600分。

双样本t检验

当我们想要比较两个样本的平均值时，我们执行双样本t检验。

下面是一个理解双样本t检验的例子

这里，假设我们想确定，在考试中，男生的平均分数是否比女生高出15分。我们没有与女孩或男孩分数的方差（或标准差）相关的信息。为了进行t检验

  • 我们随机收集了10名男女学生的成绩数据
  • 我们选择⍺值（显著性水平）为0.05作为假设检验的标准

在本例中：

  • 男生的平均分是630.1

  • 女生的平均分是606.8分

  • 平均相差15分

  • 男生成绩的标准差是13.42

  • 女生成绩的标准差为13.14

因此，P值小于0.05，因此我们可以拒绝零假设，并得出结论：在考试中，男孩平均比女孩多15分。

Z检验和T检验的决定

那么我们什么时候应该做Z检验，什么时候应该做t检验呢？如果我们想掌握统计学，这是我们需要回答的一个关键问题。

如果样本量足够大，那么Z检验和t检验将得出相同的结果。对于大样本，样本方差是对总体方差的较好估计，因此即使总体方差未知，我们也可以使用样本方差的Z检验。

同样，对于大样本，我们有很高的自由度。由于t分布接近正态分布，z分和t分之间的差异可以忽略不计。

案例研究：用Python对冠状病毒进行假设检验

现在让我们为冠状病毒数据集实现两个样本Z测试。让我们把理论知识付诸实践，看看能不能做好。你可以在这里下载数据集。

https://drive.google.com/file/d/1SJHiTq9QH3GX4CHKtODY3pcmmtxx0bB9/view?usp=sharing

这个数据集取自John Hopkin的存储库，你可以在这里找到它的链接。

https://github.com/CSSEGISandData/COVID-19/tree/master/csse_covid_19_data/csse_covid_19_daily_reports

此数据集具有以下特征：

  • Province/State
  • Country/Region
  • Last Update
  • Confirmed
  • Deaths
  • Recovered
  • Lattitude
  • Longitude

我们还使用Python的Weather API-Pyweatherbit添加了纬度和经度的温度和湿度特性。

关于COVID-19的一个普遍看法是，温暖的气候对日冕爆发更有抵抗力，我们需要通过假设检验来验证这一点。那么，我们的零假设和替代假设是什么呢？

  • 零假设：温度不影响COV-19的爆发

  • 替代假设：温度确实影响COV-19的爆发

注：在我们的数据集中，温度低于24表示寒冷气候，高于24表示炎热气候。

import pandas as pd
import numpy as np
corona = pd.read_csv('Corona_Updated.csv')
corona['Temp_Cat'] = corona['Temprature'].apply(lambda x : 0 if x < 24 else 1)
corona_t = corona[['Confirmed', 'Temp_Cat']]

def TwoSampZ(X1, X2, sigma1, sigma2, N1, N2):
    from numpy import sqrt, abs, round
    from scipy.stats import norm
    ovr_sigma = sqrt(sigma1**2/N1 + sigma2**2/N2)
    z = (X1 - X2)/ovr_sigma
    pval = 2*(1 - norm.cdf(abs(z)))
    return z, pval

d1 = corona_t[(corona_t['Temp_Cat']==1)]['Confirmed']
d2 = corona_t[(corona_t['Temp_Cat']==0)]['Confirmed']

m1, m2 = d1.mean(), d2.mean()
sd1, sd2 = d1.std(), d2.std()
n1, n2 = d1.shape[0], d2.shape[0]

z, p = TwoSampZ(m1, m2, sd1, sd2, n1, n2)

z_score = np.round(z,8)
p_val = np.round(p,6)

if (p_val<0.05):
    Hypothesis_Status = 'Reject Null Hypothesis : Significant'
else:
    Hypothesis_Status = 'Do not reject Null Hypothesis : Not Significant'

print (p_val)
print (Hypothesis_Status)

0.180286
Do not reject Null Hypothesis : Not Significant

因此。我们没有证据否定我们的零假设，即温度不影响COV-19的爆发。

虽然我们无法找到温度对COV-19的影响，但这个问题只是作为我们在本文中所学的概念性理解。COVID-19数据集的Z检验有一定的局限性：

  • 样本数据可能不能很好地代表人口数据

  • 样本方差可能不是总体方差的好估计量

  • 一个州应对这种流行病的能力的变化

  • 社会经济原因

  • 某些地方的早期突破

  • 一些国家可能出于地缘政治原因而隐瞒这些数据

因此，我们需要更加谨慎，进行更多的研究，以确定这种流行病的模式。

结尾

本文采用逐步回归的方法，对假设检验、1型误差、2型误差、显著性水平、临界值、p值、非定向假设、定向假设、Z检验和t检验的基本原理进行了研究，并对一个冠状病毒病例进行了两样本Z检验。

原文链接：https://www.analyticsvidhya.com/blog/2020/06/statistics-analytics-hypothesis-testing-z-test-t-test/

欢迎关注磐创AI博客站：
http://panchuang.net/

sklearn机器学习中文官方文档：
http://sklearn123.com/

欢迎关注磐创博客资源汇总站：
http://docs.panchuang.net/

posted @ 2020-06-30 18:10  人工智能遇见磐创  阅读(3444)  评论(0)  编辑  收藏  举报