BUAA_概率统计_Chap08_参数估计

第八章 参数估计

8.1 参数的点估计

8.1.1 矩估计法

用样本矩估计相应的总体(随机变量)矩。

只要总体的 \(k\) 阶矩存在,样本 \(k\) 阶矩依概率收敛于相应的总体 \(k\) 阶矩。

具体过程

设总体 \(X\) 的分布函数为 \(F(x;\theta_1,\theta_2,...,\theta_m)\),未知参数为 \(\theta_1,\theta_2,...,\theta_m\).

  1. 求出总体矩:\(\mu_k=EX^k=\mu_k(\theta_1,\theta_2,...,\theta_m), k=1,2,...,m\)\(\beta_k=E(X-EX)^k=\beta_k(\theta_1,\theta_2,...,\theta_m),k=1,2,...m\)

  2. 对总体进行随机抽样,设 \(X_1,X_2,...,X_n\) 为来自于总体 \(X\) 的样本,\(x_1,x_2,...,x_n\) 为样本值;

  3. 构造样本矩:\(A_k=\dfrac{1}{n}\sum\limits_{i=1}^nX_i^k,\space B_k=\dfrac{1}{n}\sum\limits_{i=1}^n(X_i-\overline{x})^k,\space S^2=\dfrac{1}{n-1}\sum\limits_{i=1}^n(X_i-\overline{x})^2\)

  4. 由于:\(A_k=\dfrac{1}{n}\sum\limits_{i=1}^nX_i^k\stackrel{P}\longrightarrow EX^k=\mu_k(n\to +\infty),\space B_k=\dfrac{1}{n}\sum\limits_{i=1}^n(X_i-\overline{x})^k\stackrel{P}\longrightarrow E(X-EX)^k=\beta_k(n\to +\infty)\)

  5. 联立并解方程组求出 \(\theta_1,\theta_2,...,\theta_m\).

8.1.2 极大似然估计法

基本思想

根据样本的具体情况,选择总体参数的估计,使得该样本发生的概率最大

定义1

\(X\) 是离散型随机变量,分布律 \(P\{X=x\}=p(x;\theta)\) 形式已知,参数 \(\theta\) 未知,\(x_1,x_2,...,x_n\) 为样本 \(X_1,X_2,...,X_n\) 的样本观察值。

\(X_1,X_2,...,X_n\) 取到 \(x_1,x_2,...,x_n\) 的概率:

\[P\{X_1=x_1,X_2=x_2,...,X_n=x_n\}=\prod\limits^n_{i=1}P\{X_i=x_i\}=\prod\limits^n_{i=1}p(x_i;\theta) \]

选取总体参数 \(\theta\) 的估计值 \(\hat{\theta}\),使得此概率达到最大,即 \(\prod\limits_{i=1}^np\{x_i;\theta\}\) 达到最大值。

\(L(\theta)=L(x_1,x_2,...,x_n;\theta)=\prod\limits_{i=1}^n p\{x_i;\theta\}\) 称为极大似然函数

定义2

\(X\) 是连续型随机变量,概率密度函为 \(f(x;\theta)\),其中 \(\theta\) 为未知参数,\((X_1,X_2,...,X_n)\) 落在点 \((x_1,x_2,...x_n)\) 邻域内的概率为 \(\prod\limits_{i=1}^nf(x_i;\theta)\prod\limits_{i=1}^n\Delta x_i\)

选取总体参数 \(\theta\) 的估计值 \(\hat{\theta}\),使得此概率达到最大,即 \(\prod\limits_{i=1}^nf\{x_i;\theta\}\) 达到最大值。

\(L(\theta)=L(x_1,x_2,..x_n;\theta)=\prod\limits_{i=1}^n f\{x_i;\theta\}\) 称为极大似然函数

定义3

如果似然函数 \(L(\theta)=L(x_1,x_2,...,x_n)\)\(\theta=\hat{\theta}\) 时达到最大值,则称 \(\hat{\theta}\) 是函数 \(\theta\)极大似然估计值

要使 \(L(\theta)\) 达到最大值,\(\hat{\theta}\) 必须满足 \(\dfrac{d}{d\theta}L(\theta)=0\)

通常由 \(\dfrac{d}{d\theta}\ln L(\theta)=0\) 求得

8.2 点估计的优良性

8.2.1 无偏性

定义

\(\hat{\theta}(X_1,X_2,...,X_n)\) (简记为 \(\hat{\theta}\))为未知参数 \(\theta\) 的估计量,若 \(E(\hat{\theta})=\theta\)(真值),则称 \(\hat{\theta}\)\(\theta\) 的无偏估计。

8.2.2 最小方差无偏估计(有效性)

定义

\(\hat{\theta}\)\(\theta\) 的一个无偏估计,若对于 \(\theta\) 的任一无偏估计 \(\hat{\theta}'\),成立:

\[D(\hat{\theta})\leq D(\hat{\theta}') \]

则称 \(\hat{\theta}\)\(\theta\) 的最小方差无偏估计。

\(\hat{\theta}_1\)\(\hat{\theta}_2\) 都是无偏估计量,且 \(D(\hat{\theta}_1)<D(\hat{\theta}_2)\),则称估计量 \(\hat{\theta}_1\)\(\hat{\theta}_2\) 有效,或较佳,或较优。

8.2.3 一致估计(相合性)

定义

\(\hat{\theta}(X_1,X_2,...,X_n)\) 为未知参数 \(\theta\) 的估计量,若 \(\hat{\theta}\) 依概率收敛于 \(0\),即对任意的 \(\epsilon>0,\lim\limits_{n\to +\infty}P\{|\hat{\theta}-\theta|<\epsilon\}=1\),则称 \(\hat{\theta}\)\(\theta\) 的一致性估计。

8.3 区间估计

8.3.1 置信区间

设总体分布含有一未知参数 \(\theta\),又 \(X_1,X_2,...,X_n\) 为来自于总体的样本,若对给定的 \(\alpha\space(0<\alpha<1)\),统计量 \(\theta_1(X_1,X_2,...,X_n)\)\(\theta_2(X_1,X_2,...,X_n)\) 满足:

\[P\{\theta_1(X_1,X_2,...,X_n)\leq \theta\leq \theta_2(X_1,X_2,...,X_n)\}=1-\alpha \]

则称区间 \([\theta_1,\theta_2]\)\(\theta\) 相应于置信度是 \(1-\alpha\) 的置信区间,简称置信区间。

\(\theta_1,\theta_2\) 分别称为置信下限和置信上限。

  1. 统计量 \(\theta_1(X_1,X_2,...,X_n)\)\(\theta_2(X_1,X_2,...X_n)\) 是随机变量,区间 \([\theta_1,\theta_2]\) 是置信区间。

对于 \(x_1,x_2,...,x_n\),区间 \([\theta_1,\theta_2]\) 是普通区间。

  1. \(\alpha\) 较小时,随机区间以较大的概率包含 \(\theta\)

  2. 置信区间的长度意味着误差,因此越小越好

8.3.2 单侧置信限

若对于给定的 \(\alpha(0 < \alpha < 1)\),统计量 \(\theta_1(X_1,X_2,...,X_n)\) 满足 \(P\{\theta\geq\theta_1(X_1,X_2,...,X_n)\}=1-\alpha\),则称区间 \([\theta_1,+\infty)\)\(\theta\) 相应于置信度是 \(1-\alpha\) 的单侧置信区间,称 \(\theta_1\) 为置信度为 \(1-\alpha\) 的单侧置信下限。

若对于给定的 \(\alpha(0<\alpha<1)\),统计量 \(\theta_2(X_1,X_2,...,X_n)\) 满足 \(P\{\theta\leq\theta_2(X_1,X_2,...,X_n)\}=1-\alpha\),则称区间 \((-\infty,\theta_2]\)\(\theta\) 相应于置信度为 \(1-\alpha\) 的单侧置信区间,称 \(\theta_2\) 为置信度为 \(1-\alpha\) 的单侧置信上限。

8.4 正态分布均值和方差的区间估计

8.4.1 均值 \(EX=\mu\) 的区间估计

1.方差 \(DX=\sigma_0^2\) 已知,对 \(EX=\mu\) 进行区间估计

\[P\{\overline{X}-\delta\leq \mu \leq \overline{X}+\delta\}=1-\alpha \]

设总体 \(X\sim N(\mu,\sigma_0^2)\),其中 \(\sigma_0^2\) 已知,又 \(X_1,X_2,...,X_n\) 为来自于总体的样本。

求出统计量 \(\mu_1(X_1,X_2,...,X_n),\mu_2(X_1,X_2,...,X_n)\) 使:

\[P\{\mu_1(X_1,X_2,...,X-n)\leq\mu\leq\mu_2(X_1,X_2,...,X_n)\}=1-\alpha \]

标准正态分布 \(N(0,1)\)\(\alpha\) 分位点
定义

\(X\) 是一个标准正态随机变量,给定 \(\alpha(0<\alpha<1)\),若存在唯一的 \(z_{\alpha}\),使得:

\[P\{X\leq z_{\alpha}\}=\Phi(z_{\alpha})=\alpha \]

\(z_{\alpha}\) 为标准正态分布的 \(\alpha\) 分位点(或 \(\alpha\) 分位数),简称分位点。

分位点的性质:

\(\forall \alpha(0<\alpha<1)\) 有:

  1. \(z_{1-\alpha}=-z_\alpha \quad P\{X>z_{\alpha}\}=1-\alpha\)\(P\{X>-z_{1-\alpha}\}=1-\alpha\)
  2. \(P\{X>z_{1-\alpha}\}=\alpha\)\(P\{X<z_{1-\alpha}\}=1-\alpha\)
  3. \(P\{|X|>z_{1-\frac{\alpha}{2}}\}\)\(P\{|X|\leq z_{1-\frac{\alpha}{2}}\}=1-\alpha\)

\[U=\dfrac{\overline{X}-\mu}{\sigma_0/\sqrt{n}}\sim N(0,1) \]

对于给定的 \(\alpha\),标准正态分布的双侧分位点 \(z_{1-\frac{\alpha}{2}}\),使:

\[P\{|U|\leq z_{1-\frac{\alpha}{2}}\}=1-\alpha \]

即:

\[P\Big\{ \Big| \dfrac{\overline{X} - \mu}{\sigma_0 / \sqrt{n}}\leq z_{1-\frac{\alpha}{2}} \Big|\Big\}=1-\alpha\\ P\Big\{\overline{X} = z_{1-\frac{\alpha}{2}}\dfrac{\sigma_0}{\sqrt{n}} \leq \mu \leq \overline{X} + z_{1-\frac{\alpha}{2}}\dfrac{\sigma_0}{\sqrt{n}} \Big\} = 1 - \alpha \]

区间 \([\overline{X} - z_{1-\frac{\alpha}{2}}\dfrac{\sigma_0}{\sqrt{n}},\overline{X} + z_{1-\frac{\alpha}{2}}\dfrac{\sigma_0}{\sqrt{n}}]\)\(\mu\) 的置信度为 \(1-\alpha\) 的置信区间

2.方差 \(DX\) 未知,对 \(EX=\mu\) 进行区间估计

\(X_1,X_2,...,X_n\) 为正态总体 \(N(\mu,\sigma^2)\) 的一个样本,由于 \(\sigma ^ 2\) 未知,用样本方差 \(S^2\) 来代替总体方差 \(\sigma^2\)

\[T=\dfrac{\overline{X} - \mu}{S/\sqrt{n}} \sim t(n - 1) \]

对给定的 \(\alpha\),可得 \(t\) 分布的双侧 \(\alpha\) 分位点 \(t_{1-\frac{\alpha}{2}}(n - 1)\),使得:

\[P\{ |T| \leq t_{1-\frac{\alpha}{2}(n-1)} \} = 1-\alpha\\ P\Big\{\overline{X} - t_{1-\frac{\alpha}{2}}(n-1)\dfrac{S}{\sqrt{n}} \leq \mu \leq\ \overline{X} + t_{1-\frac{\alpha}{2}}(n-1)\dfrac{S}{\sqrt{n}}\Big\}=1-\alpha \]

故均值 \(\mu\) 的置信区间:

\[\Big[ \overline{X} - t_{1-\frac{\alpha}{2}}\dfrac{S}{\sqrt{n}}, \overline{X} + t_{1-\frac{\alpha}{2}}(n-1)\dfrac{S}{\sqrt{n}}\Big] \]

8.4.2 方差 \(DX\) 的区间估计(总体均值未知)

设总体 \(X \sim N(\mu,\sigma^2),X_1,X_2,...,X_n\) 是总体的样本,令:

\[Y=\dfrac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1) \]

对给定的 \(\alpha(0<\alpha<1)\),得 \(\chi^2\) 分布的临界值 \(\chi^2_{\frac{\alpha}{2}}(n-1)\)\(\chi_{1-\frac{\alpha}{2}}(n-1)\)

\[P\Big\{\dfrac{(n-1)S^2}{\sigma^2}\leq\chi^2_{\frac{\alpha}{2}}(n-1) \Big\}=\dfrac{\alpha}{2}\\ P\Big\{\dfrac{(n-1)S^2}{\sigma^2}\leq\chi^2_{1-\frac{\alpha}{2}}(n-1)\Big\}=1 - \dfrac{\alpha}{2}\\ P\Big\{\dfrac{(n - 1)S^2}{\chi^2_{1-\frac{\alpha}{2}}(n-1)} \leq \sigma^2 \leq\dfrac{(n-1)S^2}{\chi^2_{\frac{\alpha}{2}}(n-1)} \Big\} = 1-\alpha \]

当总体 \(N(\mu,\sigma^2)\) 的参数 \(\mu\) 未知,方差 \(\sigma^2\) 的置信区间为:

\[\Big[\dfrac{(n-1)S^2}{\chi^2_{1-\frac{\alpha}{2}}(n-1)} ,\dfrac{(n-1)S^2}{\chi^2_{\frac{\alpha}{2}}(n-1)} \Big] \]

注1:

选取的临界值 \(\chi^2_{\frac{\alpha}{2}}(n-1),\chi^2_{1-\frac{\alpha}{2}}(n-1)\) 不是唯一的。

注2:

\(\sigma\) 的置信区间是 \(\Big[\sqrt{\dfrac{(n-1)S^2}{\chi^2_{1-\frac{\alpha}{2}}(n-1)}} ,\sqrt{\dfrac{(n-1)S^2}{\chi^2_{\frac{\alpha}{2}}(n-1)}}\Big]\)

posted @ 2022-01-09 03:01  Only(AR)  阅读(146)  评论(0编辑  收藏  举报