讀書筆記《應用隨機過程》
\(\S1\) （有限狀態空間）馬氏鏈
這一章裏，我們的目標是證明馬氏鏈的遍歷性定理和收斂定理。第一小節將定義馬氏鏈，後續小節將陸續引入定理中出現的概念，並最終證明之。
\(\S1.1\) 馬氏鏈的定義
我們首先考慮馬氏鏈的兩大要素：狀態空間與轉移矩陣。
定義：\(\mathcal S\)是狀態空間（state space），若\(\{p_{i,j}\}_{i,j\in S}\)滿足
則\(P=(p_{i,j})_{\mathcal S\times\mathcal S}\)稱爲\(\mathcal S\)上的轉移（概率）矩陣（transition matrix），\(p_{i,j}\)稱爲從\(i\)到\(j\)的轉移概率 （transition probability）。
這裏轉移矩陣滿足的性質被稱爲隨機性（stochastic）。本章考慮的狀態空間都是有限的，之後會考慮可數狀態空間的情形。
定義：\(\{X_n\}\)是一列取值於狀態空間\(\mathcal S\)的隨機變量，若轉移矩陣\(P\)滿足，對任意\(n\ge0\)以及\(x_0,\cdots,x_{n+1}\in\mathcal S\)，都有
則稱\(\{X_n\}\)為\(\mathcal S\)上 （時齊的）馬爾科夫鏈（Марков chain），並稱\(P\)為其轉移矩陣。
這裏的“時齊”表明的是等式右側與\(n\)無關。我們研究的一般均爲如此的馬氏鏈。
此外，我們還有
這個關係也被稱爲 馬氏性（Марков property）。
事實上，給定轉移矩陣\(P=(p_{ij})_{\mathcal S\times\mathcal S}\)，都存在一個馬氏鏈使得其轉移矩陣為\(P\)。
\(\blacktriangleleft\)其實，我們設初分佈為\(\mu\)，並不妨假設狀態空間為\(\mathcal S=\{1,\cdots,N\}\)或\(\mathbb N_+\)。
取一列隨機變量\(U_0,U_1,\cdots\)獨立同\((0,1]\)上的均匀分佈。定義\(g:(0,1]\to\mathcal S\)，使得
\[g(u)=i,\forall u\in\left(\sum_{r=1}^{i-1}\mu(r),\sum_{r=1}^i\mu(r)\right] \]再定義\(f:\mathcal S\times(0,1]\to\mathcal S\)，使得
\[f(i,u)=j,\forall u\in\left(\sum_{r=1}^{j-1}p_{ir},\sum_{r=1}^jp_{ir}\right] \]因此，對於\(i\in\mathcal S\)有
\[\mathbb P(g(U_0)=i)=\mathbb P\left(\sum_{r=1}^{i-1}\mu(r)<U_0\le\sum_{r=1}^i\mu(r)\right)=\mu(i) \]進而\(g(U_0)\)的分佈即爲\(\mu\)。記\(X_0=g(U_0)\)。下面歸納地定義\(X_{n+1}=f(X_n,U_{n+1})(n\in\mathbb N)\)。則
\[\mathbb P(f(i,U_n)=j)=\mathbb P\left(\sum_{r=1}^{j-1}p_{ir}<U_n\le\sum_{r=1}^jp_{ir}\right)=p_{ij} \]進而對於\(n\in\mathbb N\)及\(x_0,\cdots,x_{n+1}\in\mathcal S\)有
\[\begin{align*} \mathbb P(X_{n+1}=x_{n+1}|X_n=x_n,\cdots,X_0=x_0)&=\dfrac{\mathbb P(X_{n+1}=x_{n+1},X_n=x_n,\cdots,X_0=x_0)}{\mathbb P(X_n=x_n,\cdots,X_0=x_0)}&\\ &=\dfrac{\mathbb P(\{X_{n+1}=x_{n+1}\}\cap A)}{\mathbb P(A)}&(\text{記}A=\{X_n=x_n,\cdots,X_0=x_0\})\\ &=\dfrac{\mathbb P(\{f(x_n,U_n)=x_{n+1}\}\cap A)}{\mathbb P(A)}&\\ &=\mathbb P(f(x_n,U_n)=x_{n+1})&\\ &=\mathbb P(x_n,x_{n+1})& \end{align*}\]其中倒數第二個等號是由於\(X_0,\cdots,X_n\)均爲\(U_0,\cdots,U_{n-1}\)的函數，而這些隨機變量與\(U_{n+1}\)獨立。\(\blacktriangleright\)
\(\S1.2\) 狀態的分類；不變分佈與可逆分佈
這一小節的主要目的是引入遍歷定理所需要的幾個定義。這些定義在其它話題中也是非常重要的。
定義： 轉移矩陣\(P\)被稱為不可約（irreducible）的，若對任意\(x,y\in\mathcal S\)，都存在（可能依賴於\(x,y\)的）非負整數\(n\)，使得\(P^n(x,y)>0\)。（此處稱\(x\)可達\(y\)）一個馬氏鏈被稱爲不可約的，若其轉移矩陣不可約。
定義： 對\(x\in\mathcal S\)，令\(T(x)=\{n\ge1|T(x,x)>0\}\)。狀態\(x\)的周期（period）是\(T(x)\)的最大公因數，記爲\(\gcd(T(x))\)。
引理： 若\(x\)可達\(y\)且\(y\)可達\(x\)（稱\(x\)與\(y\)互通），則\(\gcd(T(x))=\gcd(T(y))\)。特別地，若\(P\)不可約，則所有\(\gcd(T(x))\)均爲常數，稱爲這個馬氏鏈的周期。
\(\blacktriangleleft\) 其實，我們設\(P^n(x,y)>0,P^m(y,x)>0\)，則對任意\(u\in T(x)\)，我們有
\[P^{m+n+u}(y,y)>P^m(y,x)P^u(x,x)P^n(x,y)>0 \]進而\(m+n+u\in T(y)\)，故\(\gcd(T(y))\mid m+n+u\)。特別地，取\(u=0\)可得\(\gcd(T(y))\mid m+n\)，故\(\gcd(T(y))\mid u\)對任意\(u\in T(x)\)均成立，進而\(\gcd(T(y))\mid \gcd(T(x))\)，同理即得\(\gcd(T(x))=\gcd(T(x))\)。\(\blacktriangleright\)
定義： 若不可約馬氏鏈的周期為\(1\)，稱其為非周期的。
以下的定理僅在狀態空間有限時有效。
定理： 若\(P\)非周期且不可約，則存在正整數\(M\)，使得對於任意\(x,y\in \mathcal S\)與\(n\ge M\)都有
\(\blacktriangleleft\) 其實，由於狀態空間有限，我們只需證明這樣的\(M\)對於固定的\(x,y\)是存在的即可。（這一事實對無窮狀態空間亦然成立）對\(x\in\mathcal S\)，我們知道\(T(x)\)對加法封閉：若\(n,m\in T(x)\)，則
\[P^{n+m}(x,x)\ge P^n(x,x)P^m(x,x)>0 \]進而\(n+m\in T(x)\)。且由馬氏鏈的不可約性，\(\gcd(T(x))=1\)，因而由數論中的西爾韋斯特定理，存在\(M_x\in \mathbb N_+\)使得對任意\(n\ge T_x\)都有\(P^n(x,x)>0\)。因此對\(x,y\in\mathcal S\)，設\(k\in\mathbb N_+\)使得\(P^k(x,y)>0\)，則對於\(n\ge k+M_x+M_y\)都有
\[\begin{align*} P^n(x,y)&=P^{M_x+k+(M_y+n-k-M_x-M_y)}\\ &\ge P^{M_x}(x,x)P^k(x,y)P^{M_y+n-k-M_x-M_y}(y,y)\\ &>0 \end{align*}\]因此取\(M=k+M_x+M_y\)即可。之後再對所有的\((x,y)\)取這樣\(M\)的最大值。\(\blacktriangleright\)
現在我們引入穩定分布的概念。在這裏，我們通常將一個分佈視作一個行向量：例如在\(\mathcal S=\{1,\cdots,N\}\)時，\(\mu\)的分佈就視爲\([\mu(1),\cdots,\mu(N)]\)。此時，對於馬氏鏈\(\{X_n\}_{n\in\mathbb N_+}\)，令\(\mu_n\)為\(X_n\)的分佈，\(\mu_0\)為初分佈，則我們有
亦即，我們可以將第\(n\)次的分佈化爲對矩陣冪的求解。此外，一個函數\(f:\mathcal S\to\mathbb R\)也可考慮為一個列向量\(\begin{bmatrix} f(1)\\\vdots\\ f(N) \end{bmatrix}\)。如此便有\(\mathbb E(f(X_n))=\mu_0P^nf\)。這樣我們可以從綫性代數的角度處理許多問題，首先考慮的便是特徵向量：
定義： 若概率測度\(\pi\)滿足\(\pi=\pi P\)，則稱\(\pi\)為穩定測度（stationary measure）。
事實上，這便是\(P\)的左乘特徵向量。
在實際計算中，我們通常會用以下的方式“猜出”穩定測度，再加以論證：
定義： 稱概率測度\(\pi\)滿足細致平衡條件（detailed balance condition），如果
引理： 每個滿足細緻平衡條件的概率測度都是穩定測度。
\(\blacktriangleleft\) 其實，對任意\(x\in\mathcal S\)，我們有
\[\begin{align*} \pi P(x)&=\sum_{y\in\mathcal S}\pi(y)P(y,x)\\ &=\sum_{y\in\mathcal S}\pi(x)P(x,y)\\ &=\pi(x)\sum_{y\in\mathcal S}P(x,y)\\ &=\pi(x) \end{align*}\]進而可得\(\pi\)為穩定測度。
在此條件下，計算可知，在給定初始分佈為\(\pi\)的情況下，我們有
因此我們有時也將細致平衡方程稱爲可逆方程，並稱存在滿足細致平衡條件的概率測度的馬氏鏈為可逆的（reversible）。
命題： 設\(\{X_n\}\)是一不可約的馬氏鏈，有穩定分布\(\pi\)。定義\(\hat P\)滿足
則\(\hat P\)亦爲一個隨機矩陣，其對應的馬氏鏈若記爲\(\{\hat X_n\}\)，則
並稱\(\hat X\)為\(X\)的逆時（time reversal）。
\(\blacktriangleleft\) 其實，我們有
\[\begin{align*} \sum_{y\in\mathcal S}\hat P(x,y)&=\sum_{y\in\mathcal S}\frac{\pi(y)P(y,x)}{\pi(x)}\\ &=\frac{\pi P(x)}{\pi(x)}\\ &=\frac{\pi(x)}{\pi(x)}\\ &=1 \end{align*}\]因此\(\hat P\)的確是一個隨機矩陣。此外，
\[\begin{align*} \mathbb P_\pi(\hat X_0=x_n,\cdots,\hat X_n=x_0)&=\pi(x_n)\hat P(x_n,x_{n-1})\cdots\hat P(x_1,x_0)\\ &=\pi(x_n)\prod_{i=0}^{n-1}\hat P(x_{i+1},x_i)\\ &=\pi(x_n)\prod_{i=0}^{n-1}\frac{\pi(x_{i})P(x_i,x_{i+1})}{\pi(x_{i+1})}\\ &=\pi(x_0)\prod_{i=0}^{n-1}P(x_i,x_{i+1})\\ &=\mathbb P_\pi(X_0=x_0,\cdots,X_n=x_n) \end{align*}\]
\(\S1.3\) 穩定分布與遍歷定理
這一小節將介紹穩定分布的其他計算方式以及存在性，以及利用遍歷定理對漸近行爲做出一些估計。
定義： 對於\(x\in\mathcal S\)，令
分別稱爲\(x\)的首達時（hitting time）與首入時（first return time，我們只在\(X_0=x\)時這麽說，因爲其餘情形與首達時是相同的）。
引理： 設\(P\)不可約。則對任意\(x,y\in\mathcal S\)，都有
其中這裏的\(\mathbb E_x\)表示從\(x\)出發，\(\mathbb P_x\)類似。
由此可以看出，\(\mathbb P_x(\tau_y^+<+\infty)=1\)。這個結論在\(\mathcal S\)無限的時候可能不對，這也引出了下一章中關於常返性與正零常返的討論。
\(\blacktriangleleft\) 其實，由不可約性，對任意\(x,y\in\mathcal S\)，均存在\(r(x,y)\in\mathbb N_+\)使得\(P^{r(x,y)}(x,y)>0\)。設\(\varepsilon>0\)為所有\(P^{r(x,y)}(x,y)\)中的最小值，以及\(M<+\infty\)為所有\(r(x,y)\)中的最大值。因此，
\[\begin{align*} \mathbb E_x(\tau_y^+)&=\sum_{n=0}^\infty\mathbb P_x(\tau_y^+>n)\\ &\le R\sum_{n=0}^\infty\mathbb P_x(\tau_y^+>nR)\\ &=R\sum_{n=0}^\infty\sum_{z\neq y}\mathbb P_x(\forall 1\le k\le R,X_{(n-1)R+k}\neq y|X_{(n-1)R}=z,\forall 1\le k\le (n-1)R,X_k\neq y)\mathbb P_x(X_{(n-1)R}=z,\forall 1\le k\le (n-1)R,X_k\neq y)\\ &=R\sum_{n=0}^\infty\sum_{z\neq y}\mathbb P_z(\forall 1\le k\le R,X_{k}\neq y)\mathbb P_x(X_{(n-1)R}=z,\forall 1\le k\le (n-1)R,X_k\neq y)\\ &=R\sum_{n=0}^\infty\sum_{z\neq y}\mathbb P_z(\tau_y^+>R)\mathbb P_x(\tau_y^+> (n-1)R,X_{(n-1)R}=z)\\ &\le R\sum_{n=0}^\infty(1-\varepsilon)\sum_{z\neq y}\mathbb P_z(\tau_y^+>R)\mathbb P_x(\tau_y^+> (n-1)R,X_{(n-1)R}=z)\\ &=R\sum_{n=0}^\infty(1-\varepsilon)\mathbb P_x(\tau_y^+> (n-1)R)\\ &=R\sum_{n=0}^\infty(1-\varepsilon)^n\\ &=\frac R\varepsilon\\ &<+\infty \end{align*}\]\(\blacktriangleright\)
現在我們可以利用這一性質構造出一個穩定分布。
命題： 若\(P\)不可約，則其穩定分布存在。
\(\blacktriangleleft\) 其實，固定\(z\in\mathcal S\)，我們令\(\tilde \pi(x)\)為從\(z\)出發，在返回\(z\)前訪問\(x\)的次數，亦即
\[\tilde\pi(x)=\mathbb E_z(\sum_{n<\tau_z^+}\mathbb{1}_{\{X_n=x\}})=\sum_{n=0}^\infty\mathbb P_z(X_n=x,n<\tau_z^+) \]我們去證明\(\tilde\pi=\tilde\pi P\)。事實上，對\(x\in \mathcal S\)，我們有
\[\begin{align*} \tilde \pi P(x)&=\sum_{y\in\mathcal S}\tilde \pi(y)P(y,x)\\ &=\sum_{y\in\mathcal S}\sum_{n=0}^\infty\mathbb P_z(X_n=y,n<\tau_z^+)\mathbb P_z(X_{n+1}=x|X_n=y)\\ &=\sum_{n=0}^\infty\sum_{y\in\mathcal S}\mathbb P_z(X_n=y,n<\tau_z^+)\mathbb P_z(X_{n+1}=x,n<\tau_z^+|X_n=y,n<\tau_z^+)\\ &=\sum_{n=0}^\infty\mathbb P_z(X_{n+1}=x,n<\tau_z^+)\\ &=\begin{cases} \sum\limits_{n=0}^\infty\mathbb P_z(X_{n+1}=x,n+1<\tau_z^+)&,z\neq x\\ \sum\limits_{n=0}^\infty\mathbb P_z(\tau_z^+=n+1)&,z=x \end{cases}\\ &=\begin{cases} \tilde\pi(x)&,z\neq x\\ 1&,z=x \end{cases}\\ &=\tilde\pi(x) \end{align*}\]其中最後一個等號是由於，\(\mathbb P_z(X_n=z,n<\tau_z^+)\)僅當\(n=0\)時非零，且\(n=0\)時其值為\(1\)。
順帶由此可見，\(\tilde\pi(z)=1\)。而總測度\[\begin{align*} \sum_{x\in\mathcal S}\tilde\pi(x)&=\sum_{x\in\mathcal S}\sum_{n=0}^\infty\mathbb P_z(X_n=x,n<\tau_z^+)\\ &=\sum_{n=0}^\infty\sum_{x\in\mathcal S}\mathbb P_z(X_n=x,n<\tau_z^+)\\ &=\sum_{n=0}^\infty\mathbb P_z(\tau_z^+>n)\\ &=\mathbb E_z(\tau_x^+)\\ &<+\infty \end{align*}\]之後再除以總和，使得縂測度恰好為\(1\)即可。\(\blacktriangleright\)
爲了具體表示出穩定分布，我們需要説明其唯一性。在此之前，需要考慮與穩定分布相對應的調和函數。
定義： 若函數\(f\)滿足\(Pf=f\)，則稱\(f\)是一調和函數（harmonic function）。
可以看出，此即是\(P\)的右乘特徵向量。
引理： 若\(P\)不可約，則\(\mathcal S\)上的調和函數只能爲常值函數。
這一點與複分析中的平均值原理是相呼應的。
\(\blacktriangleleft\) 其實，設\(f\)調和，設\(x\in\mathcal S\)滿足\(f(x)\)最大。由\(P\)不可約，令\(n\in\mathbb N_+\)使得對任意\(y,z\in\mathcal S\)有\(P^n(y,z)>0\)。因此，由\(P^nf=f\)，
\[f(x)=\sum_{y\in\mathcal S}P^n(x,y)f(y)\le\sum_{y\in\mathcal S}P^ n(x,y)f(x)=f(x) \]知對任意\(y\in\mathcal S\)都有\(P^n(x,y)f(x)=P^n(x,y)f(y)\)。但\(f^n(x,y)>0\)使得只能\(f(y)=f(x)\)，因此\(f\)為常值函數。\(\blacktriangleright\)
推論： 穩定分布是唯一的。
\(\blacktriangleleft\) 其實，由引理可知，\(P\)的特徵值\(1\)對應的特徵空間維數為\(1\)。而所有穩定分布的轉置的倍數構成的集合恰為\(P^T\)的特徵值\(1\)對應的特徵空間。由於\(P\)與\(P^T\)相似，即得所有穩定分布只能互爲倍數。但其縂測度均爲\(1\)，因此唯一。\(\blacktriangleright\)
定理： 若\(P\)不可約，則其唯一穩定分布\(\pi\)滿足
\(\blacktriangleleft\) 其實，對任意\(x\)，由構造知\(\pi(x)=\frac1{\mathbb E_x(\tau_x^+)}\)，其中分子為\(\tilde\pi(x)\)，分母為總測度。\(\blacktriangleright\)
現在我們可以敘述遍歷定理。
定理（遍歷定理）： 設\(f\)是\(\mathcal S\)上的實值函數，\(\{X_n\}\)是一不可約馬氏鏈，其穩定分布為\(\pi\)。則對任意初始分佈，
\(\mu\)-幾然成立。其中\(\pi(f)=\sum\limits_{x}\pi(x)f(x)\)。我們常取\(f=\mathbb 1_{\{X_j=x\}}\)。
\(\blacktriangleleft\) To be continued. \(\blacktriangleright\)
\(\S1.4\) 全變差距離與收斂定理
To be continued.
\(\S2\) （可數狀態空間）馬氏鏈
To be continued.
\(\S2.1\) 常返性
To be continued.
\(\S2.2\) 遍歷定理與收斂定理
To be continued.
\(\S2.3\) \(\mathbb Z^d\)上的隨機游走
To be continued.
\(\S3\) 網格上的隨機游走
To be continued.
\(\S3.1\) 網絡，電壓，流，等效電阻
To be continued.
\(\S3.2\) 流的能量
To be continued.
\(\S3.3\) 無窮網絡
To be continued.
浙公网安备 33010602011771号