卡方检验

卡方检验（Chi-squared test，记作𝜒2检验）是一种常用的统计假设检验方法，在机器学习中主要用于特征选择，特别是处理分类变量时。

1. 卡方检验的核心目的

卡方检验的核心目的是判断两个分类变量之间是否相互独立（即没有关联）。

• 原假设（𝐻₀）：两个变量是相互独立的，观察频数与期望频数没有显著差异。
• 备择假设（𝐻₁）：两个变量不是独立的，存在显著关联。
  

在机器学习中的应用：特征选择

在监督学习的特征选择过程中，卡方检验被用作一种过滤式（Filter Method）方法，用于衡量每个独立特征与目标变量之间的关联强度。

其基本原理是：如果一个特征与目标变量高度相关，那么它对模型预测就越重要，应该被保留；反之，如果它们相互独立，则该特征可以被剔除。

使用条件：卡方检验要求输入的特征和目标变量都必须是分类变量（离散型数据）。如果数据是连续型的，需要先进行“分箱”（Binning）处理。

2. 卡方值的计算

卡方值的计算基于观察频数（Observed Frequency）和期望频数（Expected Frequency）之间的差异。

1）构建列联表（Contingency Table）：首先，根据特征和目标变量的所有类别，构建一个频数统计表。

2）计算期望频数：在原假设（独立性）成立的前提下，计算每个单元格的期望频数。

 

解读卡方值： 

• 卡方值越高：表示观察频数与期望频数之间的差异越大，拒绝原假设（独立性）的信心越强，说明特征与目标变量的关联性越强（越重要）。
• 卡方值越低：表示差异越小，越倾向于接受原假设，说明特征与目标变量关联性越弱（不重要）。
  

总结

在特征选择中，我们通常计算所有特征的卡方值，然后选择卡方值最高（即与目标变量关联最强）的若干个特征作为最终模型的输入。这是一种快速有效的特征筛选手段，有助于提升模型的性能并降低计算成本。