統計推斷

這篇文章是閲讀卡塞拉《統計推斷》一書的筆記，也是《統計推斷》這門課的平替學習方案。

《統計推斷》讀書筆記

本書的前兩章均爲概率論的内容，故略去不表。

\(\S1\) 常見分佈族

這一部分内容對應教材第三章。雖然許多分佈在概率論的課程當中便有所提及，但相當多的分佈仍然只是一筆帶過，例如\(t\)分佈。我們將介紹這些分佈的期望、方差等常見統計量。

\(\S1.1\) 常見的離散分佈

一個隨機變量\(X\)稱爲是離散的（discrete），如果存在一個可數集\(S\)，使得\(X\in S\)幾然成立。在很多時候，我們都考慮整值隨機變量。

我們以下考慮的分佈許多是帶參數的，例如指數分佈的\(\lambda\)。因此習慣上，我們在描述一個分佈的時候，會在取值後面加上竪綫以寫上參數，如泊松分佈：

\[\mathbb P(X=n|\lambda)=e^{-\lambda}\frac{\lambda^n}{n!}(n\in\mathbb N) \]

我們首先考慮離散一致分布（discrete uniform distribution），事實上便是\([N_0,N_1]\cap Z\)上的均勻分佈。

隨機變量\(X\) 具有離散一致\((N_0,N_1)\)分布，若

\[\mathbb P(X=n|N_0,N_1)=\frac1{N_1-N_0+1},\forall n\in[N_0,N_1]\cap \mathbb Z \]

計算可得，

\[\mathbb E(X)=\frac{N_0+N_1}2,\mathrm{Var}(X)=\frac{(N_1-N_0)(N_1-N_0+2)}{12} \]

統計學中具有重要地位的一個分佈是所謂超幾何分布（hypergeometric distribution）。

考慮一個裝有\(N\)個小球的大甕，這些球除了顔色其他全部相同，其中有\(M\)個紅球和\(N-M\)個藍球。現在從中隨機選擇\(K\)個，我們需要求恰好有\(n\)個紅球的概率。
對於\(0\le n\le K\)，取出\(n\)個紅球的情形無非是在\(M\)個紅球當中選擇\(n\)個，共\(\binom Mn\)種情形；再在\(N-M\)個藍球中選擇\(K-n\)個，共\(\binom{N-M}{K-n}\)種情形，合計\(\binom Mn\cdot\binom{N-M}{K-n}\)種。考慮到總情形有\(\binom NK\)種，我們得到

\[\mathbb P(X=n|N,M,K)=\frac{\binom Mn\binom{N-M}{K-n}}{\binom NK},n=0,\cdots,K \]

在組合數沒有意義的時候自動為\(0\)。我們將這樣的超幾何分佈記爲\(H(K,M,N)\)。
説明這些式子相加的確為\(1\)是一件複雜的事情，不過從概率的角度，如此亦能給出一個證明。下面我們來求它的期望與方差。
我們有

\[\begin{align*} \mathbb E(X)&=\sum_{n=0}^Kn\frac{\binom Mn\binom{N-M}{K-n}}{\binom NK}\\ &=\sum_{n=1}^K\frac{M\binom{M-1}{n-1}\cdot\binom{(N-1)-(M-1)}{(K-1)-(n-1)}}{\binom{N-1}{K-1}}\cdot \frac{K}{N} \end{align*}\]

注意到這個式子便是\(H(K-1,M-1,N-1)\)，再考慮到\(K=1\)時候實際退化爲了伯努利分佈，因此

\[\mathbb E(X)=\frac{KM}N \]

我們可以用同樣的方法計算方差：

\[\begin{align*} \mathbb E(X^2)&=\sum_{n=0}^Kn^2\frac{\binom Mn\binom{N-M}{K-n}}{\binom NK}\\ &=\frac{KM}{N}+\sum_{n=2}^KM(M-1)\frac{\binom{M-2}{n-2}\cdot\binom{(N-2)-(M-2)}{(K-2)-(n-2)}}{\binom{N-2}{K-2}}\frac{K(K-1)}{N(N-1)}\\ &=\frac{KM}{N}+\frac{KM(K-1)(M-1)}{N(N-1)}\\ &=\frac{KM(KM-K-M+N)}{N(N-1)} \end{align*}\]

因此，

\[\mathrm{Var}(X)=\frac{KM(N-M)(N-K)}{N(N-1)} \]

另一種常見的分佈是我們熟悉的二項分佈（binomial distribution），他來源於伯努利（Bernoulli）分佈。

\(X\)服從參數為\(p\)（\(0\le p\le 1\)）的伯努利分佈，如果

\[\mathbb P(X=1)=p,\mathbb P(X=0)=1-p \]

我們有

\[\mathbb E(X)=p,\mathrm{Var}(X)=p(1-p) \]

二項分佈便是將\(n\)個獨立同分佈的伯努利分佈相加。直觀上理解，便是將一枚硬幣抛\(n\)次，計算其中正面朝上的次數。也就是，

\[\mathbb P(X=i|n,p)=p^i(1-p)^{n-i}\binom ni,i=0,\cdots,n \]

進而可以求出

\[\mathbb E(X)=np,\mathrm{Var}(X)=np(1-p),M_X(t)=\left(p\mathrm e^t+(1-p)\right)^n \]

其中\(M_X(t)\)是矩母函數\(\mathbb E(\mathrm e^{Xt})\)。

泊松（Poisson）分佈在概率論當中時常見到，這取決於它的無記憶性。

\(X\)服從參數為\(\lambda\)的泊松分佈，如果

\[\mathbb P(X=n|\lambda)=\frac{\mathrm e^{-\lambda}\lambda^n}{n!},\forall n\in\mathbb N \]

我們有

\[\mathbb E(X)=\lambda,\mathrm{Var}(X)=\lambda,M_X(t)=\mathrm e^{\lambda(\mathrm e^t-1)} \]

**負二項分佈（negative binomial distribution）考慮的則是為達到指定成功次數，所需要花費的總次數。

指定成功\(r\)次時，所花費總次數為\(n\)的概率為

\[\mathbb P(X=n|r,p)=\binom{n-1}{r-1}p^r(1-p)^{n-r},n=r,r+1,\cdots \]

如果我們令\(Y=X-r\)，也就是失敗次數，那麽

\[\mathbb P(Y=y)=\binom{r+y-1}{y}p^r(1-p)^y=(-1)^y\binom{-r}{y}p^r(1-p)^y,y\in\mathbb N \]

這也是“負二項”的來源。有時我們也將\(Y\)的分佈作爲負二項分佈。
此時，

\[\begin{align*} \mathbb E(Y)&=\sum_{y=0}^\infty y\binom{r+y-1}{y}p^r(1-p)^y\\ &=\sum_{y=1}^\infty r\binom{r+y-1}{y-1}p^r(1-p)(1-p)^{y-1}\\ &=\frac{r(1-p)}{p} \end{align*} \]

以及

\[\begin{align*} \mathbb E(Y^2)&=\sum_{y=0}^\infty y^2\binom{r+y-1}{y}p^r(1-p)^y\\ &=\frac{r(1-p)}p+\sum_{y=2}^\infty r(r+1)\binom{r+y-1}{y-2}p^r(1-p)^2(1-p)^{y-2}\\ &=\frac{r(1-p)}{p}+\frac{r(r+1)(1-p)^2}{p^2}\\ &=\frac{r(1-p)(r+1-rp)}{p^2} \end{align*} \]

進而

\[\mathbb E(Y)=\frac{r(1-p)}{p},\mathrm{Var}(Y)=\frac{r(1-p)}{p^2} \]

在負二項分佈當中，取\(r=1\)，便得到了所謂幾何分佈（geometric distribution）。

\(X\)服從參數為\(p\)的幾何分布，如果

\[\mathbb P(X=n|p)=p(1-p)^{n-1},\forall n\in\mathbb N_+ \]

由此可得，

\[\mathbb E(X)=\frac1p,\mathrm{Var}(X)=\frac{1-p}{p^2} \]

以及重要的無記憶性（memoryless）：

\[\forall s>t,\mathbb P(X>s|X>t)=\mathbb P(X>s-t) \]

\(\S1.2\)常見的連續分布

連續分布指的是概率密度函數存在的分佈，常常簡記為pdf。

最簡單的分佈便是區間\([a,b]\)上的均勻分佈（uniform distribution）。

\(X\)服從區間\([a,b]\)上的均匀分佈，如果它的密度函數為

\[f(x|a,b)=\begin{cases} \frac1{b-a}&x\in[a,b]\\ 0&其他情形 \end{cases}\]

可以求得

\[\mathbb E(X)=\frac{b+a}2,\mathrm{Var}(X)=\frac{(b-a)^2}{12} \]

伽馬分佈（gamma distribution）起源於數學分析中便涉及的伽馬函數。

考慮積分

\[\Gamma(\alpha)=\int_0^{+\infty}t^{\alpha-1}\mathrm e^{-t}\mathrm d t \]

則其在\(\alpha>0\)時候收斂，且\(\Gamma(\alpha+1)=\alpha\Gamma(\alpha)\)，且\(\forall n\in\mathbb N_+,\Gamma(n)=(n-1)!\)，
爲了使得其中的被積函數成爲一個概率密度函數，我們將除去\(\Gamma(\alpha)\)，得到伽馬分佈的概率密度函數：

\[f(t|\alpha)=\frac{t^{\alpha-1}\mathrm e^{-t}}{\Gamma(\alpha)},t\in\mathbb R_+ \]

有時我們也會將\(T=\frac{X}{\beta}\)的分佈稱爲伽馬分佈：

\[f(x|\alpha,\beta)=\frac{x^{\alpha-1}\mathrm e^{-\frac x\beta}}{\Gamma(\alpha)\beta^\alpha},x,\alpha,\beta>0 \]

\(\alpha\)稱爲形狀參數，而\(\beta\)稱爲尺寸參數。
現在我們來計算其常見統計量。

\[\begin{align*} \mathbb E(X)&=\frac1{\Gamma(\alpha)\beta^\alpha}\int_0^{+\infty}x^\alpha\mathrm e^{-\frac x\beta}\mathrm dx\\ &=\frac1{\Gamma(\alpha)\beta^\alpha}\int_0^{+\infty}\beta^{\alpha+1}t^\alpha\mathrm e^{-t}\mathrm dt\\ &=\beta\frac{\Gamma(\alpha+1)}{\Gamma(\alpha)}\\ &=\alpha\beta \end{align*} \]

\[\begin{align*} \mathbb E(X^2)&=\frac1{\Gamma(\alpha)\beta^\alpha}\int_0^{+\infty}x^{\alpha+1}\mathrm e^{-\frac x\beta}\mathrm dx\\ &=\frac1{\Gamma(\alpha)\beta^\alpha}\int_0^{+\infty}\beta^{\alpha+2}t^{\alpha+1}\mathrm e^{-t}\mathrm dt\\ &=\frac1{\Gamma(\alpha)\beta^\alpha}\beta^{\alpha+2}\Gamma(\alpha+2)\\ &=\alpha(\alpha+1)\beta^2 \end{align*} \]

因此\(\mathrm{Var}(X)=\alpha\beta^2\)。

\[\begin{align*} M_X(t)&=\mathbb E(\mathrm e^{Xt})\\ &=\frac1{\Gamma(\alpha)\beta^\alpha}\int_0^{+\infty}x^{\alpha-1}\mathrm e^{-\frac x\beta+xt}\mathrm dx\\ &=\left(\frac1{1-\beta a}\right)^\alpha,t<\frac1\beta \end{align*} \]

此外，若選取參數\(p=\frac\alpha2\)，則我們有

\[f(x|p)=\frac1{\Gamma(\frac p2)2^{\frac p2}}x^{\frac p2-1}\mathrm e^{-\frac x2},x\in\mathbb R_+ \]

這個分佈稱爲卡方分佈（chi squared distribution）。在後續章節將詳細介紹。

在\(\alpha=1\)的時候，伽馬分佈退化為指數分佈（exponential distribution）：

指數分佈的概率密度函數為

\[f(x|\beta)=\frac1\beta\mathrm e^{-\frac x\beta},x\in\mathbb R_+ \]

它與幾何分佈類似，滿足無記憶性：

\[\forall s>t,\mathbb P(X>s|X>t)=\mathbb P(X>s-t) \]

如果\(X\)服從參數為\(\beta\)的指數分佈，我們令\(Y=X^{\frac1\gamma}\)，則其密度函數為

\[f_Y(y|\gamma,\beta)=\frac{\gamma}\beta y^{\gamma-1}\mathrm e^{-\frac{y^\gamma}\beta},y\in\mathbb R_+ \]

這在時間序列分析當中十分有用。

概率論中我們見到了十分重要的正態分佈（normal distribution），亦稱高斯分佈（Gaussian distribution）：

期望為\(\sigma\)，方差為\(\sigma^2\)的正態分佈記爲\(N(\mu,\sigma^2)\)，滿足

\[f(x|\mu,\sigma^2)=\frac1{\sqrt{2\pi}\sigma}\mathrm e^{-\frac{(x-\mu)^2}{2\sigma^2}} \]

稱\(N(0,1)\)為標準正態分佈。那麽，如果\(X\)服從\(N(\mu,\sigma^2)\)分佈，則\(Z=\frac{X-\mu}{\sigma}\)服從標準正態分佈。

類似於伽馬分佈，考慮貝塔函數便能得到貝塔分佈（beta distribution）。

貝塔分佈的概率密度函數為

\[f(x|\alpha,\beta)=\frac1{B (\alpha,\beta)}x^{\alpha-1}(1-x)^{\beta-1},x\in(0,1) \]

其中貝塔函數

\[B (\alpha,\beta)=\int_0^1x^{\alpha-1}(1-x)^{\beta-1}\mathrm dx=\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)} \]

可以得到，

\[\mathbb E(X^n)=\frac{B (\alpha+n,\beta)}{B (\alpha,\beta)}=\frac{\Gamma(\alpha+n)}{\Gamma(\alpha+\beta+n)\Gamma(\alpha)},\mathbb E(X)=\frac\alpha{\alpha+\beta},\mathrm{Var}(X)=\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} \]

值得注意的是，當\(\alpha=\beta=1\)的時候，便退化為均勻分佈。這説明均勻分佈是貝塔分佈族的一員。

柯西分佈（Cauchy distribution）是重要的期望不存在的例子。

\(X\)服從柯西分布，如果其密度函數

\[f(x|\theta)=\frac1\pi\frac1{1+(x-\theta)^2} \]

它滿足\(\mathbb E(|X|)=+\infty\)。

如果一個隨機變量取對數後服從正態分佈，則其稱爲對數分佈（lognormal distribution）。

\(X\)服從對數分佈，則\(\log X\sim N(\mu,\sigma^2)\)，其概率密度函數為

\[f(x|\mu,\sigma^2)=\frac1{\sqrt{2\pi}\sigma}\frac1x\mathrm e^{-\frac{(\log x-\mu)^2}{2\sigma^2}},x\in\mathbb R_+ \]

更有

\[\mathbb E(X)=\mathrm e^{\mu+\frac{\sigma^2}2},\mathrm{Var}(X)=\mathrm e^{2(\mu+\sigma^2)}-\mathrm e^{2\mu+\sigma^2} \]

這些可以由正態分佈的矩母函數推出。

我們討論的最後一個連續型分佈是雙指數分佈（double exponential distribution），來源於對指數分佈做對稱。

其概率密度函數為

\[f(x|\sigma)=\frac1{2\sigma}\mathrm e^{-\frac{|x-\mu|}\sigma},x\in\mathbb R \]

期望與方差分別為

\[\mathbb E(X)=\mu,\mathrm{Var}(X)=2\sigma^2 \]