卡方分布定理的证明
定理
设 \(x_1, x_2, \cdots, x_n\) 是来自正态总体 \(N(\mu, \sigma^2)\) 的样本,其样本均值和样本方差分别为
\(\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_i \quad \text{和} \quad s^2 = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_i - \bar{x})^2\)
则有:
- \(\bar{x}\)与\(s^2\)相互独立;
- \(\bar{x} \sim N(\mu, \frac{\sigma^2}{n})\);
- \((n-1)s^2 \sim \chi^2(n-1)\)。
解释
-
\(\bar{x}\) 与 \(s^2\) 相互独立:
- 在正态分布的条件下,样本均值 \(\bar{x}\) 和样本方差 \(s^2\) 是两个独立的统计量。这意味着,知道 \(\bar{x}\) 的值不会影响 \(s^2\) 的分布,反之亦然。这一性质在进行统计推断时非常有用。
-
\(\bar{x} \sim N(\mu, \sigma^2 / n)\):
- 样本均值 \(\bar{x}\) 本身也服从正态分布,其均值等于总体均值 \(\mu\),方差等于总体方差 \(\sigma^2\) 除以样本量 \(n\)。这一性质说明了样本均值作为总体均值的估计量的精确性,随着样本量的增加,样本均值的方差减小,估计更加精确。
-
\(\frac{(n - 1)s^2}{\sigma^2} \sim \chi^2 (n - 1)\):
- 样本方差 \(s^2\) 经过标准化后,即乘以 \(\frac{n - 1}{\sigma^2}\),服从自由度为 \(n - 1\) 的卡方分布。 这一性质在进行方差分析、假设检验等统计过程中非常重要,因为它提供了样本方差与总体方差之间关系的数学描述。
描述了正态总体样本均值和样本方差的重要性质,包括它们的独立性、样本均值的分布以及样本方差的分布。这些性质在数理统计和实际应用中具有广泛的应用价值,特别是在进行假设检验、置信区间估计和方差分析等统计推断时。
证明
\((x_1, x_2, \cdots, x_n)\) 的联合密度函数为
记 \(X = (x_1, x_2, \cdots, x_n)^T\),取一个 \(n\) 维正交矩阵 \(A\),其第一行的每一个元素均为 \(1/\sqrt{n}\),如下:
令 \(Y = (y_1, y_2, \cdots, y_n)^T = AX\),则该线性变换的雅可比(Jacobi)行列式为1(因为 \(A\) 是正交矩阵,所以其行列式的绝对值为1,且在此变换中保持符号不变,即为1)。
注意到 \(\sum_{i = 1}^{n} y_i^2 = Y^TY = X^TA^TAX = \sum_{i = 1}^{n} x_i^2\),
于是 \(y_1, y_2, \cdots, y_n\) 的联合密度函数为:
由此,\(Y = (y_1, y_2, \cdots, y_n)^T\) 的各个分量相互独立,且都服从正态分布。其方差均为 \(\sigma^2\),而均值并不完全相同:\(y_2, \cdots, y_n\) 的均值为0,\(y_1\) 的均值为 \(\sqrt{n}\mu\)。这就证明了结论(2)。
由于 \((n - 1)s^2 = \sum_{i = 1}^{n} (x_i - \bar{x})^2 = \sum_{i = 1}^{n} x_i^2 - (\sqrt{n}\bar{x})^2 = \sum_{i = 1}^{n} y_i^2 - y_1^2 = \sum_{i = 2}^{n} y_i^2\),这证明了结论(1)。
由于 \(y_2, \cdots, y_n\) 独立同分布于 \(N(0, \sigma^2)\),于是:
说明1
\(y_1, y_2, \cdots, y_n\)的联合概率密度函数,其中 \(y_1, y_2, \cdots, y_n\)是通过正交变换 $Y = AX \(得到的随机变量,\)X = (x_1, x_2, \cdots, x_n)^T$是来自正态总体 $N(\mu, \sigma^2) $的样本。
这个联合概率密度函数可以分解为两个部分:
- \(y_1\)的概率密度函数:\(y_1\)服从均值为 \(\sqrt{n}\mu\)、方差为 \(\sigma^2\)的正态分布,即 \(y_1 \sim N(\sqrt{n}\mu, \sigma^2)\)。
- $y_2, y_3, \cdots, y_n \(的联合概率密度函数:\)y_2, y_3, \cdots, y_n$相互独立,且每个 $y_i $服从均值为0、方差为 $\sigma^2 $的正态分布,即 \(y_i \sim N(0, \sigma^2)\)。
因此,我们可以将 \(p(y_1, y_2, \cdots, y_n)\)写为:
其中,
这表明 $y_1 $和 $y_2, y_3, \cdots, y_n $是相互独立的。由于 $ y_1 = \sqrt{n} \bar{x} $,这进一步表明 $\bar{x} $和 \(s^2\)是相互独立的。
说明2
这个证明是关于多元正态分布中样本均值和样本方差分布特性的详细推导。以下是对该证明思路的逐步详解:
1. 原始数据的联合密度函数
首先,我们给出了 \(n\) 个独立同分布的随机变量 \(x_1, x_2, \cdots, x_n\) 的联合密度函数,它们服从均值为 \(\mu\),方差为 \(\sigma^2\) 的正态分布。这个联合密度函数是后续推导的基础。
2. 构造正交矩阵 \(A\)
接下来,我们构造了一个 \(n\) 维正交矩阵 \(A\),其第一行的每个元素都是 \(\frac{1}{\sqrt{n}}\)。正交矩阵的性质保证了 \(A^TA = I\)(单位矩阵),且线性变换 \(Y = AX\) 的雅可比行列式为 1。这意味着变换后的数据 \(Y\) 的联合密度函数形式与原始数据 \(X\) 的相同,只是变量进行了替换。
3. 线性变换 \(Y = AX\)
通过线性变换 \(Y = AX\),我们将原始数据 \(X\) 转换为新数据 \(Y\)。由于 \(A\) 是正交矩阵,这个变换保持了数据的方差不变,并且使得新数据 \(Y\) 的各个分量之间具有特定的关系。
4. 新数据的联合密度函数
将 \(X = A^TY\) 代入原始数据的联合密度函数,我们得到了新数据 \(Y\) 的联合密度函数。这个联合密度函数表明,\(Y\) 的各个分量是相互独立的,并且都服从正态分布。特别地,\(y_1\) 的均值为 \(\sqrt{n}\mu\),方差为 \(\sigma^2\);而 \(y_2, \cdots, y_n\) 的均值为 0,方差也为 \(\sigma^2\)。
5. 证明结论(2)
通过观察新数据的联合密度函数,我们可以直接得出结论(2):\(y_1, y_2, \cdots, y_n\) 是相互独立的正态随机变量,且它们的方差都是 \(\sigma^2\),均值则有所不同(\(y_1\) 的均值为 \(\sqrt{n}\mu\),其余为 0)。
6. 证明结论(1)
接下来,我们利用样本方差 \(s^2\) 的定义和线性变换 \(Y = AX\) 的性质,证明了结论(1):\((n - 1)s^2 = \sum_{i = 2}^{n} y_i^2\)。这个等式表明,样本方差 \((n - 1)s^2\) 可以表示为 \(n - 1\) 个独立同分布的正态随机变量(即 \(y_2, \cdots, y_n\))的平方和。
7. 卡方分布的证明
最后,由于 \(y_2, \cdots, y_n\) 独立同分布于 \(N(0, \sigma^2)\),我们可以将它们标准化为 \(\frac{y_i}{\sigma}\)(这些标准化的变量服从标准正态分布 \(N(0, 1)\))。因此,它们的平方和 \(\sum_{i = 2}^{n} \left(\frac{y_i}{\sigma}\right)^2\) 服从自由度为 \(n - 1\) 的卡方分布。这就证明了 \(\frac{(n - 1)s^2}{\sigma^2}\) 服从 \(\chi^2(n - 1)\) 分布。
综上所述,这个证明通过构造正交矩阵和线性变换,将原始数据转换为更易于分析的形式,并利用概率论和线性代数的知识,清晰地展示了多元正态分布中样本均值和样本方差的分布特性。
矩阵验证
展开
好的,让我们将这个 \(10 \times 10\) 的矩阵 \(A\) 展开成具体的数值。根据给定的模式,矩阵 \(A\)的元素可以具体计算如下:
转置
计算
要证明一个矩阵是正交矩阵,需要证明该矩阵的列向量(或行向量)是单位向量且相互正交。具体来说,矩阵 \(A\) 是正交矩阵当且仅当满足以下条件:
- \(A^T A = I\),其中 \(A^T\) 是 \(A\) 的转置矩阵,\(I\) 是单位矩阵。
- \(A A^T = I\)。
我们来逐一验证这两个条件。
条件 1: \(A^T A = I\)
首先,计算 \(A^T A\)。矩阵 \(A\) 的转置 \(A^T\) 是将 \(A\) 的行变为列,列变为行。由于 \(A\) 的结构特殊,我们可以直接观察和计算。
-
第一列:所有元素都是 \(\frac{1}{\sqrt{n}}\),因此第一列的转置乘以第一列的结果是:
\[\left(\frac{1}{\sqrt{n}}\right)^2 + \left(\frac{1}{\sqrt{n}}\right)^2 + \cdots + \left(\frac{1}{\sqrt{n}}\right)^2 = n \cdot \frac{1}{n} = 1 \]这说明第一列是单位向量。
-
第二列:第二列的元素是 \(\frac{1}{\sqrt{2 \cdot 1}}\) 和 \(-\frac{1}{\sqrt{2 \cdot 1}}\),其余为 0。因此,第二列的转置乘以第二列的结果是:
\[\left(\frac{1}{\sqrt{2}}\right)^2 + \left(-\frac{1}{\sqrt{2}}\right)^2 = \frac{1}{2} + \frac{1}{2} = 1 \]这说明第二列也是单位向量。
-
第三列:第三列的元素是 \(\frac{1}{\sqrt{3 \cdot 2}}\)、\(\frac{1}{\sqrt{3 \cdot 2}}\) 和 \(-\frac{2}{\sqrt{3 \cdot 2}}\),其余为 0。因此,第三列的转置乘以第三列的结果是:
\[\left(\frac{1}{\sqrt{6}}\right)^2 + \left(\frac{1}{\sqrt{6}}\right)^2 + \left(-\frac{2}{\sqrt{6}}\right)^2 = \frac{1}{6} + \frac{1}{6} + \frac{4}{6} = 1 \]这说明第三列也是单位向量。
-
以此类推:对于每一列,都可以验证其转置乘以自身的结果是 1,说明每一列都是单位向量。
-
列向量的正交性:对于任意两列 \(i\) 和 \(j\)(\(i \neq j\)),它们的内积为 0。例如,第一列和第二列的内积为:
\[\left(\frac{1}{\sqrt{n}}\right) \cdot \left(\frac{1}{\sqrt{2}}\right) + \left(\frac{1}{\sqrt{n}}\right) \cdot \left(-\frac{1}{\sqrt{2}}\right) + 0 + \cdots + 0 = 0 \]
条件 2: \(A A^T = I\)
由于 \(A\) 是正交矩阵,根据正交矩阵的性质,\(A A^T = I\) 也成立。
综上所述,矩阵 \(A\) 的列向量都是单位向量且相互正交,因此 \(A\) 是正交矩阵。
MATLAB程序
在 MATLAB 中输入和计算矩阵 \(A\) 及其转置 \(A^T\) 并验证正交性,可以按照以下步骤进行。这里我将提供具体的代码示例。
创建矩阵 \(A\)
首先,我们需要创建矩阵 \(A\)。根据您提供的模式,我们可以使用循环来构建这个矩阵:
n = 10; % 定义矩阵的大小为 10x10
A = zeros(n); % 初始化一个 10x10 的零矩阵
% 第一行填充
A(1, :) = 1 / sqrt(n);
% 填充其余行
for k = 2:n
A(k, 1:k-1) = 1 / sqrt(k * (k - 1));
A(k, k) = - (k - 1) / sqrt(k * (k - 1));
end
disp('Matrix A:');
disp(A);
计算转置矩阵 \(A^T\)
MATLAB 提供了非常方便的方法来计算矩阵的转置,即使用单引号 ' 操作符:
AT = A'; % 转置矩阵 A
disp('Transpose of Matrix A (A^T):');
disp(AT);
验证正交性
为了验证 \(A\) 是否为正交矩阵,我们需要检查 \(A^T A\) 和 \(A A^T\) 是否等于单位矩阵 \(I\):
I = eye(n); % 创建 n x n 的单位矩阵
% 计算 A^T * A 和 A * A^T
ATA = AT * A;
AAT = A * AT;
disp('A^T * A:');
disp(ATA);
disp('A * A^T:');
disp(AAT);
% 检查是否接近单位矩阵(考虑到数值计算中的舍入误差)
if isequal(round(ATA), I) && isequal(round(AAT), I)
disp('Matrix A is orthogonal.');
else
disp('Matrix A is not orthogonal.');
end
请注意,由于数值计算中可能存在舍入误差,我们使用 round 函数来四舍五入结果,以确保比较时忽略微小的数值误差。如果您希望更严格地处理这种误差,可以考虑使用 norm 函数来检查矩阵的范数是否足够小。
上述代码段可以在 MATLAB 环境中直接运行,以创建矩阵 \(A\),计算其转置,并验证其正交性。
输出结果
Matrix A:
0.3162 0.3162 0.3162 0.3162 0.3162 0.3162 0.3162 0.3162 0.3162 0.3162
0.7071 -0.7071 0 0 0 0 0 0 0 0
0.4082 0.4082 -0.8165 0 0 0 0 0 0 0
0.2887 0.2887 0.2887 -0.8660 0 0 0 0 0 0
0.2236 0.2236 0.2236 0.2236 -0.8944 0 0 0 0 0
0.1826 0.1826 0.1826 0.1826 0.1826 -0.9129 0 0 0 0
0.1543 0.1543 0.1543 0.1543 0.1543 0.1543 -0.9258 0 0 0
0.1336 0.1336 0.1336 0.1336 0.1336 0.1336 0.1336 -0.9354 0 0
0.1179 0.1179 0.1179 0.1179 0.1179 0.1179 0.1179 0.1179 -0.9428 0
0.1054 0.1054 0.1054 0.1054 0.1054 0.1054 0.1054 0.1054 0.1054 -0.9487
Transpose of Matrix A (A^T):
0.3162 0.7071 0.4082 0.2887 0.2236 0.1826 0.1543 0.1336 0.1179 0.1054
0.3162 -0.7071 0.4082 0.2887 0.2236 0.1826 0.1543 0.1336 0.1179 0.1054
0.3162 0 -0.8165 0.2887 0.2236 0.1826 0.1543 0.1336 0.1179 0.1054
0.3162 0 0 -0.8660 0.2236 0.1826 0.1543 0.1336 0.1179 0.1054
0.3162 0 0 0 -0.8944 0.1826 0.1543 0.1336 0.1179 0.1054
0.3162 0 0 0 0 -0.9129 0.1543 0.1336 0.1179 0.1054
0.3162 0 0 0 0 0 -0.9258 0.1336 0.1179 0.1054
0.3162 0 0 0 0 0 0 -0.9354 0.1179 0.1054
0.3162 0 0 0 0 0 0 0 -0.9428 0.1054
0.3162 0 0 0 0 0 0 0 0 -0.9487
A^T * A:
1.00 0.00 -0.00 -0.00 0.00 0.00 0.00 0.00 -0.00 0.00
0.00 1.00 -0.00 -0.00 0.00 0.00 0.00 0.00 -0.00 0.00
-0.00 -0.00 1.00 -0.00 0.00 0.00 0.00 0.00 -0.00 0.00
-0.00 -0.00 -0.00 1.00 0.00 0.00 0.00 0.00 -0.00 0.00
0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 -0.00 0.00
0.00 0.00 0.00 0.00 0.00 1.00 0.00 0.00 -0.00 0.00
0.00 0.00 0.00 0.00 0.00 0.00 1.00 0.00 -0.00 0.00
0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.00 -0.00 0.00
-0.00 -0.00 -0.00 -0.00 -0.00 -0.00 -0.00 -0.00 1.00 0.00
0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.00
A * A^T:
1.00 0.00 -0.00 0.00 -0.00 -0.00 0.00 -0.00 -0.00 -0.00
0.00 1.00 0.00 -0.00 -0.00 0.00 -0.00 -0.00 -0.00 -0.00
-0.00 0.00 1.00 -0.00 -0.00 -0.00 -0.00 -0.00 -0.00 0.00
0.00 -0.00 -0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00
-0.00 -0.00 -0.00 0.00 1.00 -0.00 0.00 0.00 -0.00 0.00
-0.00 0.00 -0.00 0.00 -0.00 1.00 -0.00 0.00 0.00 -0.00
0.00 -0.00 -0.00 0.00 0.00 -0.00 1.00 0.00 0.00 0.00
-0.00 -0.00 -0.00 0.00 0.00 0.00 0.00 1.00 0.00 0.00
-0.00 -0.00 -0.00 0.00 -0.00 0.00 0.00 0.00 1.00 -0.00
-0.00 -0.00 0.00 0.00 0.00 -0.00 0.00 0.00 -0.00 1.00
Matrix A is orthogonal.
PYTHON程序
import numpy as np
#np.set_printoptions(precision=2, suppress=True, linewidth=200, threshold=np.inf)
# 定义矩阵大小
n = 10
# 初始化一个 n x n 的零矩阵
A = np.zeros((n, n))
# 第一行填充
A[0, :] = 1 / np.sqrt(n)
# 填充其余行
for k in range(1, n):
A[k, :k] = 1 / np.sqrt(k * (k + 1))
A[k, k] = -k / np.sqrt(k * (k + 1))
print('Matrix A:')
print(A)
# 计算转置矩阵 A^T
AT = A.T
print('\nTranspose of Matrix A (A^T):')
print(AT)
# 创建 n x n 的单位矩阵
I = np.eye(n)
# 计算 A^T * A 和 A * A^T
ATA = AT @ A
AAT = A @ AT
print('\nA^T * A:')
print(ATA)
print('\nA * A^T:')
print(AAT)
# 检查是否接近单位矩阵(考虑到数值计算中的舍入误差)
if np.allclose(ATA, I) and np.allclose(AAT, I):
print('\nMatrix A is orthogonal.')
else:
print('\nMatrix A is not orthogonal.')
```
浙公网安备 33010602011771号