显著性检验（significance test）就是事先对总体（随机变量）的参数或总体分布形式做出一个假设，然后利用样本信息来判断这个假设（备择假设）是否合理，即判断总体的真实情况与原假设是否有显著性差异。或者说，显著性检验要判断样本与我们对总体所做的假设之间的差异是纯属机会变异，还是由我们所做的假设与总体真实情况之间不一致所引起的。 显著性检验是针对我们对总体所做的假设做检验，其原理就是“小概率事件实际不可能性原理”来接受或否定假设。显著性水平代表的意义是在一次试验中小概率事物发生的可能性大小。
检验“无效假设”成立的机率水平一般定为5%，其含义是将同一实验重复100次，两者结果间的差异有5次以上是由抽样误差造成的，则“无效假设”成立，可认为两组间的差异为不显著，常记为p>0.05。若两者结果间的差异5次以下是由抽样误差造成的，则“无效假设”不成立，可认为两组间的差异为显著，常记为p≤0.05。如果p≤0.01，则认为两组间的差异为非常显著。
显著性检验即用于实验处理组与对照组或两种不同处理的效应之间是否有差异，以及这种差异是否显著的方法。
常把一个要检验的假设记作H0,称为原假设（或零假设） (null hypothesis) ，与H0对立的假设记作H1，称为备择假设(alternative hypothesis) 。
⑴ 在原假设为真时，决定放弃原假设，称为第一类错误，其出现的概率通常记作α；
⑵ 在原假设不真时，决定不放弃原假设，称为第二类错误，其出现的概率通常记作β。
通常只限定犯第一类错误的最大概率α， 不考虑犯第二类错误的概率β。这样的假设检验又称为显著性检验，概率α称为显著性水平。
最常用的α值为0.01、0.05、0.10等。一般情况下，根据研究的问题，如果放弃真假设损失大，为减少这类错误，α取值小些 ，反之，α取值大些。
常用显著性检验
1.t检验
适用于计量资料、正态分布、方差具有齐性的两组间小样本比较。包括配对资料间、样本与均数间、两样本均数间比较三种，三者的计算公式不能混淆。
T检验，亦称student t检验（Student's t test），主要用于样本含量较小（例如n<30），总体标准差σ未知的正态分布资料。
t检验是用t分布理论来推论差异发生的概率，从而比较两个平均数的差异是否显著。
在进行t检验时，如果其目的在于检验两个总体均数是否相等，即为双侧检验，如果假设是两个总体均数的大于或者小于的相对关系，则为单侧检验。
t检验分为单总体检验和双总体检验。单总体t检验是检验一个样本平均数与一个已知的总体平均数的差异是否显著。当总体分布是正态分布，如总体标准差未知且样本容量小于30，那么样本平均数与总体平均数的离差统计量呈t分布。双总体t检验是检验两个样本平均数与其各自所代表的总体的差异是否显著。双总体t检验又分为两种情况，一是独立样本t检验，一是配对样本t检验。
注：
a. 选用的检验方法必须符合其适用条件(注意：t检验的前提是资料服从正态分布) 。理论上，即使样本量很小时，也可以进行t检验。（如样本量为10，一些学者声称甚至更小的样本也行），只要每组中变量呈正态分布，两组方差不会明显不同。如上所述，可以通过观察数据的分布或进行正态性检验估计数据的正态假设。方差齐性的假设可进行F检验，或进行更有效的Levene's检验。如果不满足这些条件，可以采用校正的t检验，或者换用非参数检验代替t检验进行两组间均值的比较。
b. 区分单侧检验和双侧检验。单侧检验的界值小于双侧检验的界值，因此更容易拒绝，犯第Ⅰ错误的可能性大。t检验中的p值是接受两均值存在差异这个假设可能犯错的概率。在统计学上，当两组观察对象总体中的确不存在差别时，这个概率与我们拒绝了该假设有关。一些学者认为如果差异具有特定的方向性，我们只要考虑单侧概率分布，将所得到t-检验的P值分为两半。另一些学者则认为无论何种情况下都要报告标准的双侧t检验概率。
c. 假设检验的结论不能绝对化。当一个统计量的值落在临界域内，这个统计量是统计上显著的，这时拒绝虚拟假设。当一个统计量的值落在接受域中，这个检验是统计上不显著的，这是不拒绝虚拟假设H0。因为，其不显著结果的原因有可能是样本数量不够拒绝H0 ，有可能犯第Ⅰ类错误。
d. 正确理解P值与差别有无统计学意义。P越小，不是说明实际差别越大，而是说越有理由拒绝H0 ，越有理由说明两者有差异，差别有无统计学意义和有无专业上的实际意义并不完全相同。
e. 假设检验和可信区间的关系结论具有一致性差异：提供的信息不同区间估计给出总体均值可能取值范围，但不给出确切的概率值，假设检验可以给出H0成立与否的概率。
f. 涉及多组间比较时，慎用t检验。
科研实践中，经常需要进行两组以上比较，或含有多个自变量并控制各个自变量单独效应后的各组间的比较，（如性别、药物类型与剂量），此时，需要用方差分析进行数据分析，方差分析被认为是T检验的推广。在较为复杂的设计时，方差分析具有许多t-检验所不具备的优点。（进行多次的T检验进行比较设计中不同格子均值时）。
2.t'检验
应用条件与t检验大致相同，但t′检验用于两组间方差不齐时，t′检验的计算公式实际上是方差不齐时t检验的校正公式。
3.U检验
应用条件与t检验基本一致，只是当大样本时用U检验，而小样本时则用t检验，t检验可以代替U检验。
4.方差分析
用于正态分布、方差齐性的多组间计量比较。常见的有单因素分组的多样本均数比较及双因素分组的多个样本均数的比较，方差分析首先是比较各组间总的差异，如总差异有显著性，再进行组间的两两比较，组间比较用q检验或LST检验等。
5.X2检验
是计数资料主要的显著性检验方法。用于两个或多个百分比(率)的比较。常见以下几种情况：四格表资料、配对资料、多于2行*2列资料及组内分组X2检验。
6.零反应检验
用于计数资料。是当实验组或对照组中出现概率为0或100％时，X2检验的一种特殊形式。属于直接概率计算法。
7.符号检验、秩和检验和Ridit检验
三者均属非参数统计方法，共同特点是简便、快捷、实用。可用于各种非正态分布的资料、未知分布资料及半定量资料的分析。其主要缺点是容易丢失数据中包含的信息。所以凡是正态分布或可通过数据转换成正态分布者尽量不用这些方法。
8.Hotelling检验
用于计量资料、正态分布、两组间多项指标的综合差异显著性检验。
9.F检验
F检验又叫方差齐性检验。在两样本t检验中要用到F检验。
从两研究总体中随机抽取样本，要对这两个样本进行比较的时候，首先要判断两总体方差是否相同，即方差齐性。若两总体方差相等，则直接用t检验，若不等，可采用t'检验或变量变换或秩和检验等方法。其中要判断两总体方差是否相等，就可以用F检验。
简单的说就是检验两个样本的方差是否有显著性差异，这是选择何种T检验（等方差双样本检验，异方差双样本检验）的前提条件。
F检验法是英国统计学家Fisher提出的，主要通过比较两组数据的方差 S^2，以确定他们的精密度是否有显著性差异。至于两组数据之间是否存在系统误差，则在进行F检验并确定它们的精密度没有显著性差异之后，再进行t检验。
注：
多元线性回归分析中，F检验主要是检验因变量同多个自变量的整体线性关系是否显著，在k个自变量中，只要有一个自变量同因变量的线性关系显著，t检验则是对每个回归系数分别进行单独的检验，以判断每个自变量对因变量的影响是否显著。
在建立多元线性回归模型时，t检验是用于检验回归方程各个参数是否显著为0的单一检验，F检验是检查所有解释变量的系数是否同时为0的单一检验，F检验是检验所有解释变量的系数是否同时为0的联合检验。
t统计量与F统计量的构造原理及其概率分布都是不一致的，前者直接考虑参数的估计量是否“足够”接近于0，服从t分布；后者则是从总离差平方和分解式出发，以回归平方与残差平方和的比值来推断解释变量整体对被解释变量的线性影响是否显著，服从F分布。因此，就一般而言，t检验与F检验不能相互替代。但当解释变量之间两两线性无关时，可以借助一个检验推断另一个检验的结果，即若所有解释变量均通过t检验，那么回归方程也能通过F检验。（参考：http://wenku.baidu.com/link?url=owemT9BvQyxjvGvYWXT2CD_0p4C8d_mqNV26k5BZXoZvMyNnAL0fiOuTCkCIKPjbwBZEFSdTFb2FF4oWVFcBcacfZu6P0R_5lnfYG4cHZaq）
