随机过程（二）：离散时间的Markov链

离散时间的Markov链

状态转移矩阵

定义：\(\{X(n)\}_{n=0,1,2,\ldots}\)，其中\(X(n)\)有取值空间（状态空间）\(S=\{1,2,3， \cdots\}\) 。

如果对 \(\forall n ， i ， j ， i_{0}, i_{1}, \ldots i_{n-1} \in S\)，满足下列条件，称\(\{X(n)\}\)为马氏链（Markov 链）：

\[P\left(X(n+1)=j \mid X(n)=i, X(0)=i_{0}, \ldots, X(n-1)=i_{n-1}\right)= P(X(n+1)=j \mid X(n)=i) \]

• 时齐: 对 \(n_{1}<\cdots<n_{k}<n<n_{k+1}<\cdots<n_{l}\) ，时齐的马氏链满足：

\[\begin{aligned} & P\left(X\left(n_{k+1}\right)=i_{k+1}, \ldots, X\left(n_{l}\right)=i_{l} \mid X(n)=i, X\left(n_{1}\right)=i_{1}, \ldots X\left(n_{k}\right)=i_{k}\right) \\ = &P\left(X\left(n_{k+1}\right)=i_{k+1}, \ldots, X\left(n_{l}\right)=i_l \mid X(n)=i\right) \\ \end{aligned} \]

此时$ P_{i j}=P(X(n+1)=j \mid X(n)=i) $ 与\(n\)无关，记：

\[\\ P=\left(P_{i j}\right)=\left(\begin{array}{cccc} P_{00} & P_{01} & P_{02} & \cdots \\ P_{10} & P_{11} & P_{12} & \cdots \\ \vdots & \vdots & \vdots & \ddots \end{array}\right), \mathbf{1}=\left(\begin{array}{c} 1 \\ 1 \\ \vdots \end{array}\right) \]

有性质：1. \(P_{i j} \geqslant 0\)；2.对 \(\forall i=0,1,2, \ldots\)，\(\sum_{j} P_{i j}=1\) 。

在这一部分，所指的马氏链默认都是时齐的马氏链。

解决马氏链问题的步骤：1.搭建状态空间；2.判断时齐；3.求\(P\)。

例1：假没明天下雨的概率取决于今天是否下雨。

若今天下雨，明天下雨的概率为 \(\alpha\) ，不下雨概率为 \(\beta\) 。

解：记状态空间为

\[\begin{aligned} x_{n}= \begin{cases}0, & \text { 第 } n \text { 天下雨 } \\ 1, & \text { 第n天不下雨 }\end{cases} \\ \end{aligned} \]

则转移矩阵为：

\[P=\left(\begin{array}{cc} \alpha & 1-\alpha \\ \beta & 1-\beta \end{array}\right) \]

多步状态转移矩阵

多步状态转移矩阵 \(P^{(l)}=P^{l}\). 可以通过递推证明，这里略过。

给定 \(P\left(X_{0}=i\right)=P_{i} ， i=0,1,2, \ldots\), 求 \(P\left(X_{n}=j\right)=\) ?

记 \(P^{(0)}=\left(P_{0}, P_{1}, \ldots\right)\)，$ P_{i}$ 为\(P\left(X_{0}=i\right)\)，可以放入初始条件：从\(n=1\)开始

\[\begin{aligned} P\left(X_{1}=j\right) & =\sum_{i} P\left(X_{1}=j, X_{0}=i\right) \\ & =\sum_{i} P\left(X_{1}=j \mid X_{0}=i\right) \cdot P\left(X_{0}=i\right) \\ & =\sum_{i} P_{i} P_{i j} \\ \Rightarrow P^{(n)} & =P^{(0)} \cdot P \ldots P=P^{(0)} P^{n} \end{aligned} \]

例2：假设明天下雨的概率取决于今天和昨天是否下雨。

\[\text { 明天下雨概率 }=\left\{\begin{array}{lll} &\text { 今 } & \text { 明 } \\ 0.7 & \text { 下 } & \text { 下 } \\ 0.5 & \text { 下} & \text { 不下 } \\ 0.4 & \text { 不下 } & \text { 下 }\\ 0.2 & \text { 不下 }& \text { 不下 } \end{array}\right. \]

此时\(\{X_n\}\)不再是马氏链，但取\(Y_n=(X_n,X_{n-1})\)，\(\{Y_n\}\)为马氏链。

解：要写出其转移矩阵，先定义状态空间如下。

\[Y_{n}=\left\{\begin{array}{lll} & \text { 第n天 } & \text { 第n-1天 } \\ 0 & \text { 下 } & \text { 下 } \\ 1 & \text { 下 } & \text { 不下 } \\ 2 & \text { 不下 } & \text { 下 } \\ 3 & \text { 不下 } & \text { 不下 } \end{array}\right. \]

然后可以写出转移矩阵：

\[P=\left(\begin{array}{cccc} 0.7 & 0 & 0.3 & 0 \\ 0.5 & 0 & 0.5 & 0 \\ 0 & 0.4 & 0 & 0.6 \\ 0 & 0.2 & 0 & 0.8 \end{array}\right) \]

那么已知周一周二下雨，如何求出周四下雨的概率呢？已知: \(Y_{2}=0\) ，那么周四下雨对应 \(Y_{4}=0\) 或 \(Y_{4}=1\)

即求 \(P\left(Y_{4}=0 \mid Y_{2}=0\right)+P\left(Y_{4}=1 \mid Y_{2}=0\right)\)，运用上面的方法来处理：

\[\begin{aligned} &P\left(Y_{4}=0 \mid Y_{2}=0\right)+P\left(Y_{4}=1 \mid Y_{2}=0\right)\\ =&(1,0,0,0) P^{2}\left(\begin{array}{l} 1 \\ 1 \\ 0 \\ 0 \end{array}\right)=(1,0,0,0) P \cdot P\left(\begin{array}{l} 1 \\ 1 \\ 0 \\ 0 \end{array}\right) \\ =&(0.7,0,0.3,0)\left(\begin{array}{l} 0.7 \\ 0.5 \\ 0.4 \\ 0.2 \end{array}\right)=0.61 \end{aligned} \]

吸收态与吸收态的构造

吸收态

吸收态: 如果 \(P_{i i}=1, \forall j \neq i ， P_{i j}=0\) ，称 \(i\) 为吸收态。

例：两赌徒赌钱，其中某人每次赌赢概率为 \(P ，\) 赌输概率\(1-p\)，令 \(\left\{X_{n}\right\}\) 表示 \(n\) 局后手中的赌金。

这是一个马氏链，转移矩阵如下：

\[P=\left(\begin{array}{ccccc} 1 & & & \cdots & 0 \\ 1-p & 0 & p & \cdots& 0 \\ 1-p & 0 & p & \cdots& 0\\ & \ddots & \ddots & \\ 0 & \cdots& i-p & 0 & p\\ 0 & \cdots & 0 & 0 & 1 \end{array}\right) \]

状态空间 \(E=0,1, \cdots, c\)，对应两人赌资的分布情况。可见左上角与右下角为两个吸收态。

方法1.设置吸收态

对马氏链 \(\left\{X_{n}\right\} ， S ， P=\left(P_{ij}\right)\) 已知。 \(A \subset S\) ，从状态\(i\)出发，\(i\notin A\)，计算在 \(n\) 步内访问过 \(A\) 中状态的概率。

\[\begin{aligned} P & =\sum_{k=1}^{n} \sum_{j \in A} P\left(X_{k}=j, X_{l} \in A^{c}, 1 \leq l \leq k-1 \mid X_{0}=i\right) \\ & =\sum_{k=1}^{n} \sum_{j \in A} \sum_{i_1, i_{2}, \ldots i_{k-1} \in A^{c}} P_{i i_{1}} \cdot P_{i_{1} i_{2}} \cdots P_{i_{k-2} {i}_{k-1}} P_{i_{k-1} j} \end{aligned} \]

构造新的马氏链 \(\left\{\widetilde{X_{n}}\right\} ，\) 状态空间仍为 \(S\) ，令:

\[\widetilde{P_{i j}}=\left\{\begin{array}{cl} P_{i j} & i \in A^{c}, j \in S \\ 0 & i \in A, j \neq i \\ 1 & i \in A, j=\bar{i} \end{array}\right. \]

进一步处理:

\[\begin{aligned} P& =\sum_{k=1}^{n} \sum_{j \in A} P\left(\widetilde{X_{k}}=j, \widetilde{X_{l}} \in A^{c}, 1 \leqslant \lambda \leqslant k-1 \mid \widetilde{X}_{0}=i\right) \\ & =\sum_{j \in A} \sum_{k=1}^{n} P\left(\widetilde{X_{k}}=j, \widetilde{X_{l}} \in A^c,1\leqslant l \leqslant k-1\mid \widetilde{X_{0}}=i\right) \\ & =\sum_{j \in A} P\left(\widetilde{X}_{n}=j \mid \widetilde{X}_{0}=i\right) \\ & =\sum_{j \in A}\left(\widetilde{P}^{(n)}\right)_{i j} \end{aligned} \]

这里用到了一个性质：

\[P\left(\widetilde{X}_{n}=j \mid \widetilde{X}_{0}=i\right)=\sum_{k=1}^{n} P\left(\widetilde{X_{k}}=j, \widetilde{X_{l}} \in A^c,1\leqslant l \leqslant k-1\mid \widetilde{X_{0}}=i\right) \]

方法2.合并元素

\(A \subset S ， i\notin A\) ， 从状态\(i\)出发，n步内曾访问过\(A\)中状态的概率记为 \(p\) 。

把 A中所有元素合并为同一个状态\(i_0\)。新的状态空间为 \(A^{c} \cup\left\{i_{0}\right\}\) ，转移矩阵 \(\hat{p}=\left(\hat{p}_{i j}\right)\) ，其中:

\[\hat{p_{i j}}= \begin{cases}p_{i j} & i \in A^{c}, j \in A^{c} \\ \sum p_{i j} & i \in A^{c}, j=i_{0} \\ 1 & i=j=i_{0} \\ 0 & i=\bar{i}_{0}, j \in A^{c}\end{cases} \]

例：一位退休工人，每月初收到2000元退休金。

\[\begin{aligned} & P(\text {消费}i \text {元})=P_{i}=\frac{1}{4} \\ & i=1000,2000,3000,4000 \end{aligned} \]

但不借钱消费。若月底超过 3000 元，超过部分给他儿子。假设月初收到退休金后他有5000元，问在未来四个月底，每个月底的钱曾为0或1000元的概率。

解: \(\left\{x_{n}\right\}\) 表示每月月底钱的变化过程，记状态空间为 \(\{0,1,2,3\}\) ，则转移矩阵为：

\[P=\left(\begin{array}{cccc} \frac{3}{4} & \frac{1}{4} & 0 & 0 \\ \frac{1}{2} & \frac{1}{4} & \frac{1}{4} & 0 \\ \frac{1}{4} & \frac{1}{4} & \frac{1}{4} & \frac{1}{4} \\ 0 & \frac{1}{4} & \frac{1}{4} & \frac{1}{2} \end{array}\right) \Rightarrow \hat{P}=\left(\begin{array}{ccc} 1 & 0 & 0 \\ \frac{1}{2} & \frac{1}{4} & \frac{1}{4} \\ \frac{1}{4} & \frac{1}{4} & \frac{1}{2} \end{array}\right) \]

解得 \(\left(\hat{P}^{4}\right)_{3,1}=\frac{201}{256}\)

状态分类：可达、相通、常返

可达和相通

如果存在 \(n \geqslant 1\) ，使\(P\left(X_{n}=j \mid X_{0}=i\right)>0\)，称状态 \(i\) 可达状态 \(j\) 。也可以写成\(\exists n\), 使 \(\left(P^{n}\right)_{i j}>0\)，此时 \(\sum_{n=1}^\infty (P^n)_{ij}\neq 0\)。

就是经过有限次可以走到

如果状态\(i\)可达\(j\)，同时状态 \(j\) 也可达状态\(i\)，称状态\(i\)和状态\(j\)是相通的。

• 定理：如果状态\(i\)和\(j\)相通， \(j\)和\(k\)相通，则状态\(i\)和\(k\)相通。
• 证明: \(\exists m\) 和 \(n\) ，使得\(P\left(X_{m}=j \mid X_{0}=i\right)>0,P\left(X_{n}=k \mid X_{0}=j\right)>0\)，则：

\[P\left(X_{m+n}=K \mid X_{0}=i\right) \geqslant P\left(X_{m+n}=k, X_{m}=j \mid X_{0}=i\right)=P\left(X_{m}=j \mid X_{0}=i\right)\cdot P\left(X_{m+n}=k \mid X_{m}=j\right)>0 \]

如果 \(\left\{X_{n}\right\}\) 的任何两个状态是相通的，称此马氏链不可约。

常返态和非常返态

常返: 从状态\(i\)出发后回访\(i\)的概率记为 \(f_{i}\)：

\[f_{i}=\sum_{n=1}^{\infty} P\left(X_{n}=i, X_{l} \neq i, 1 \leqslant l \leqslant n-1 \mid X_{0}=i\right) \]

若 \(f_{i}=1\) ，称状态 \(i\) 为常返；若 \(f_{i}<1\) ，称为非常返。

有返回不一定是常返，注意“常”这个字，就是总会回来，哪怕要经过无限长的时间。

• 定理: 状态\(i\)是非常返的 \(\Leftrightarrow \sum_{n=1}^{\infty} P\left(X_{n}=i \mid X_{0}=i\right)<+\infty\) \(\Leftrightarrow \sum_{n=1}^{\infty}\left(P^{n}\right)_{i i}<+\infty\)

\(\tau_{i}=\) 从状态\(i\)出发，首次回访\(i\)的时间：

\[\begin{aligned} & \tau_{i}(w)=\left\{\begin{array}{l} n&, X_{n}(w)=i, X_{l}(w) \neq i, 1 \leqslant l \leqslant n-1 \\ +\infty&, X_{n}(w) \neq i, n=1,2, \cdots \end{array}\right. \\ & \begin{aligned} f_{i} & =P\left(\tau_{i}<+\infty\right)=\sum_{n=1}^{+\infty} P\left(\tau_{i}=n\right)=\sum_{n=1}^{+\infty} P\left(X_{n}=i, \quad X_{l} \neq i, 1 \leq l \leq n-1 \mid X_{0}=i\right) \end{aligned} \end{aligned} \]

\(S_{i}=从 i\)出发，未来回访\(i\)的次数。

• 引理: 若 \(f_{i}=1\), 则 \(P\left(S_{i}=+\infty\right)=1\)

证明：\(\left\{S_{i}=+\infty\right\}=\bigcap_{n=1}^{\infty}\left\{S_{i} \geqslant n\right\}\)

\[P\left(S_{i}=+\infty\right)=P\left(\bigcap_{n=1}^{\infty}\left\{S_{i} \geqslant n\right\}\right)=\lim _{n \rightarrow \infty} P\left(S_{i} \geqslant n\right) \]

只需证明对 \(\forall n\) ，有 \(P\left(S_{i} \geqslant h\right)=1\)。使用数学归纳法：

\[\begin{aligned} & 1.~ f_{i}=P\left(S_{i} \geqslant 1\right)=1 \\ & 2.~ \text {若} P\left(S_{i} \geqslant k\right)=1 \\ & \begin{aligned} P\left(S_{i} \geqslant k+1\right)& =\sum_{n=1}^{\infty} P\left(\tau_{i}=n\right) P\left(X_{n}=i\text {后回访i的次数不少于 } k\right)\\ & =\sum_{n=1}^{\infty} P\left(\tau_{i}=n\right) P\left(S_{i} \geqslant k\right) \\ & =\sum_{n=1}^{\infty} P\left(\tau_{i}=n\right)=f_{i}=1 \end{aligned} \end{aligned} \]

可以证明：

• 若 \(f_{i}<1\), 则 \(P\left(S_{i}=0\right)=1-f_{i}~ ; P\left(S_{i}=n\right)=\left(1-f_{i}\right) f_{i}^{n}\)
• 若 \(f_{i}=1\), 则 \(P\left(S_{i}=+\infty\right)=1 \Rightarrow E\left[S_{i}\right]=+\infty\)
• 若 \(f_{i}<1, E\left[S_{i}\right]<+\infty\)

\(i\)常返，即 \(f_{i}=1 \Leftrightarrow E\left[s_{i}\right]=+\infty\)

\[\begin{aligned} & S_{n}^{i}(w)= \begin{cases}1, & X_{n}(w)=i \\ 0, & X_{n}(w) \neq i\end{cases} \\ & \begin{aligned} &S_{i}=\sum_{n=1}^{\infty} S_{n}^{i}\\ &E\left[S_{i}\right]=E\left[\sum_{n=1}^{\infty} S_{n}^{i}\right]=\sum_{n=1}^{\infty} E\left[S_{n}^{i}\right]=\sum_{n=1}^{\infty} P\left(X_{n}=i \mid X_{0}=i\right) =\sum_{n=1}^{\infty}\left(P^{n}\right)_{i i} \end{aligned} \end{aligned} \]

一些需要补充的定理

• 定理：若状态\(i\)和\(j\)相通，那么只要\(i\)常返，则\(j\)也常返。

证明 ：\(\exists r\) 和 \(s ，\left(P^{r}\right)_{i j}>0 .\left(P^{s}\right)_{j i}>0\) 。

\[\begin{aligned} \sum_{n=1}^{\infty}\left(P^{n}\right)_{j j} & \geqslant \sum_{n=1}^{\infty}\left(P^{n+r+s}\right)_{j j} \geqslant \sum_{n=1}^{\infty}\left(P^{s}\right)_{j i}\left(P^{n}\right)_{i i}\left(P^{r}\right)_{i j} \\ & =\left(P^{s}\right)_{j i} \sum_{n=1}^{\infty}\left(P_{i}^{n}\right)_{i i}\left(P^{r}\right)_{i j}=+\infty \end{aligned} \]

• 定理: 若状态 \(j\) 为非常返态，则对\(\forall i\)，\(\lim _{n \rightarrow \infty} P_{i j}^{(n)}=0\)

证明：只需证 \(\sum_{n=1}^{\infty} P_{i j}^{(n)}<+\infty\)

\[\begin{aligned} P_{i j}^{(n)} & =\sum_{k=1}^{n} f_{i j}^{(k)} P_{j j}^{(n-k)}\\ \text{其中}&f_{i j}^{(k)}=P\left(X_{k}=j, X_{l} \neq j,1\leqslant l \leqslant k-1|X_0=i\right) \\ \sum_{n=1}^{\infty} P_{i j}^{(n)} & =\sum_{n=1}^{\infty} \sum_{k=1}^{n} f_{i j}^{(k)} P_{j j}^{(n-k)} \\ & =\sum_{k=1}^{\infty} \sum_{n=k}^{+\infty} f_{i j}^{(k)} P_{j j}^{(n-k)} \\ & =\sum_{k=1}^{\infty}\left[f_{i j}^{(k)} \sum_{n=k}^{+\infty} P_{j j}^{(n-k)}\right] \\ & =\left(1+\sum_{n=1}^{\infty} P_{j j}^{(n)}\right) \sum_{k=1}^{\infty} f_{i j}^{(k)}<+\infty \end{aligned} \]

\(f_{i j}\) 是从状态\(i\)出发后访问\(j\)的概率，\(f_{i j}=\sum_{k=1}^{\infty} f_{i j}^{(k)} \leqslant 1\)

• 定理：若状态空间有限，则必存在常返态。

证明：假设所有状态都是非常返的，则：

\[\begin{aligned} & \sum_{j \in S} P_{i j}^{(n)}=1 \\ & \lim _{n \rightarrow \infty} P_{i j}^{(n)}=0, \forall j \in S \end{aligned} \]

而

\[1=\lim _{n \rightarrow \infty}\left(\sum_{j \in S} P_{i j}^{(n)}\right)=\sum_{j \in S} \lim _{n \rightarrow \infty} P_{i j}^{(n)}=0 \]

矛盾！

• 定理: 若马氏链是不可约的（任何两个状态相通），且状态空间有限，则其每一状态都是常返的。

例：随机游走问题，每一步可能+1，也可能-1。状态空间$S={0, \pm 1, \pm 2 ， \cdots}; P_{i, i+1}=p, P_{i, i-1}=1-p $

\[\begin{aligned} & P_{00}^{(n)}=\left\{\begin{array}{l} 0 \quad, n=2 k+1 \\ C_{2 k}^{k} p^{k}(1-p)^{k}, \quad n=2 k \end{array}\right. \end{aligned} \]

\[\begin{aligned} \sum_{n=1}^{\infty} P_{00}^{(n)} & =\sum_{k=1}^{\infty} C_{2 k}^{k} \cdot p^{k}(1-p)^{k}=\sum_{k=1}^{\infty} \frac{(2 k) !}{\left(k^{\prime} !\right)^{2}} p^{k}(1-p)^{k} \cdot(*) \\ & =\sum_{k=1}^{\infty} \frac{1}{\sqrt{\pi} \sqrt{k}} \cdot(4 p(1-p))^{k} \quad\left[k ! \approx k^{k+\frac{1}{2}} e^{-k} \sqrt{2 \pi}\right] \end{aligned} \]

(1) 若 \(4 p(1-p)=1\) ，即 \(p=\frac{1}{2}\) ，0为常返态

(2) 若 \(4 p(1-p)<1\) ，即 \(p \neq \frac{1}{2}\) ，0为非常返态。

• 定理：状态 \(i\) 和 \(j\) 相通，若 \(i\) 常返，则 \(j\) 也常返；若 \(i\) 瞬时，则 \(j\) 也瞬时。[第一条]

• 引理：若状态 \(j\) 常返，且 \(j\) 可达 \(k\)，则 \(k\) 也可达 \(j\) ， \(f_{k j}=1\)。

证明： \(j\) 可达 \(k\) ，则 \(f_{ j k}>0\) ，从状态 \(j\) 出发不再访问 \(j\) 的概率为：

\[0=1-f_{j j} \geqslant f_{j k}\left(1-f_{k j}\right)\Rightarrow f_{k j}=1 \]

推论:

1. \(j\) 为常返，\(j\) 可达 \(k\) ，且 \(k\) 也为常返，则 \(k\) 可达\(j\)， \(f_{kj}=1\) 。
2. 若 \(j\) 为常返， \(k\) 为瞬时， \(f_{j k}=0\)。
3. 若存在状态 \(k\)，使得 \(j\) 可达 \(k\)，但 \(k\) 不可达 \(j\)，则 \(j\) 为瞬时态。

周期性

如果当 \(n\) 不为 \(d\) 的整数倍时， \(P_{i i}^{(n)}=0\) 且 \(d\) 是具有此性质的最大整数，称状态 \(i\) 具有周期 \(d\) 。定义:

\[E=\left\{n \mid P_{i i}^{(n)}>0\right\} \]

\(E\)中所有整数的最大公约数为 \(d\) 。若状态 \(i\) 的周期为1 ，称 \(i\) 为非周期。

• 定理： \(j\) 和 \(k\) 相通， \(j\) 具有周期 \(d\) ，则 \(k\) 也具有周期 \(d\) 。

• 证明： \(\exists r, s\) 使得 \(P_{j k}^{(r)}>0, P_{k j}^{(s)}>0\)

\[P_{j j}^{(r+s)} \geqslant P_{j k}^{(r)} P_{k j}^{(s)}>0 \]

所以 \(r+s\) 必为d 的倍数

\[P_{j j}^{(n+r+s)} \geqslant P_{j k}^{(r)} P_{k k}^{(n)} P_{k j}^{(s)} \]

若 \(n\) 不是 \(d\) 的倍数，则 \(n+r+s\) 也不是 \(d\) 的倍数，则 \(P_{jj}^{(n+r+s)}=0\)，所以\(P_{kk}^{(n)}=0\)。

\(\therefore k\) 的周期 \(d^{\prime} \geqslant d\), 同理可证 \(d^{\prime} \geqslant d^{\prime}\)

\(\therefore d=d^{\prime}\)

设 \(i\) 为常返态，记 \(\tau_{i}\) 是从 \(i\) 出发后，首次回访 \(i\) 的时间。

\[\tau_{i}(w)=n \quad if~~ X_{n}(w)=i, X_{l}(w) \neq i ,1\leqslant l \leqslant n-1 \]

若 \(E\left[\tau_{i}\right]<+\infty\) 称 \(i\) 为正常返；若 \(E\left[\tau_{i}\right]=+\infty\) 称 \(i\) 为零常返。

• 定理：

1. 若 \(j\) 为瞬时态或零常返：

\[\lim _{n \rightarrow \infty} P_{i j}^{(n)}=0, \forall i \in S \]

2. 若 \(j\) 为非周期、正常返：

\[\lim _{n \rightarrow \infty} P_{j j}^{(n)}=\pi_{j}>0 . \]

且对 \(\forall i \in S\) :

\[\lim _{n \rightarrow \infty} P_{i j}^{(n)}=f_{i j} \pi_{j} \]

3. 若 \(j\) 为周期、正常返：

\[\lim _{n \rightarrow \infty} P_{j j}^{(n)} \text { 不存在 } \]

• 定理：若 \(\left\{x_{n}\right\}\) 不可约，则所有状态要么全为正常返，要么全为零常返。

证明：只需证若 \(i\) 和 \(j\) 相通，当 \(i\) 为零常返，则 \(j\) 也为零常返。已知 \(j\) 也为常返，现证\(\lim _{n \rightarrow \infty} P_{j j}^{(n)}=0\)：

\[\exists r, s . \text { 使得 } P_{i j}^{(r)}>0 , P_{j i}^{(s)}>0, \text { 而 } P_{j i}^{(n+r+s)} \geqslant P_{i j}^{(n)} P_{j j}^{(n)} P_{j i}^{(s)} \]

当 \(n \rightarrow \infty\) ，有 \(P_{i i}^{(n+r+s)} \rightarrow 0\) ，所以 \(\lim _{n \rightarrow \infty} P_{j j}^{(n)}=0\) ，\(j\)为零常返。

• 定理：若 \(\left\{X_{n}\right\}\) 为有限状态、不可约马氏链，则所有状态为正常返。

证明：否则所有状态同为瞬时或同为零常返。

\[\begin{aligned} & \lim _{n \rightarrow \infty}\left(\sum_{j \in S} P_{i j}^{(n)}\right)=1 \\ & \lim _{n \rightarrow \infty}\left(\sum_{j \in S} P_{i j}^{(n)}\right)=\sum_{j \in S} \lim _{n \rightarrow \infty} P_{i j}^{(n)}=0 \quad \text { 矛盾. } \end{aligned} \]

• 定理： 若\(\left\{x_{n}\right\}\) 不可约、非周期，则 \(\left\{X_{n}\right\}\) 为正常返的充要条件充要条件是下式存在解：

\[\begin{cases}\pi P=\pi & \left(\sum_{j} \pi_{j} P_{j i}=\pi_{i}, \forall i \in S\right) \\ \pi e=1 & \left(\sum_{j} \pi_{i}=1\right)\end{cases} \]

若上式存在解，解为正且唯一，且\(\pi\)为极限分布，则：

\[\lim _{n \rightarrow \infty} P_{i j}^{(n)}=\pi_{j} \]

证明：

• 有限维，不可约非周期 \(\Rightarrow\) 存在解。
• 无限维，例如对 \(\alpha, \beta>0 ， \alpha+\beta \leq 1\)

\[P=\left(\begin{array}{cccc} 1-\alpha & \alpha & & \\ \beta & 1-\alpha-\beta & \alpha & \\ & \beta & 1-\alpha-\beta & \alpha \\ & & \ddots & \ddots & \ddots \end{array}\right) \]

若存在解: \(\pi=\left[\pi_{0} ， \pi_{1} ， \pi_{2} ， \pi_{3}, \cdots\right]\) ，应有：

对状态0：\(\pi_{0}(1-\alpha)+\pi_{1} \beta=\pi_{0} \Rightarrow \pi_{1} \beta=\alpha \pi_{0} \Rightarrow \pi_{1}=\frac{\alpha}{\beta} \pi_{0}\)

对状态\(k\)， \(k \geqslant 1: \pi_{k-1} \alpha+(1-\alpha-\beta) \pi_{k}+\beta \pi_{k+1}=\pi_{k}\Rightarrow \pi_{k+1}-\pi_{k}=\frac{\alpha}{\beta}\left(\pi_{k}-\pi_{k-1}\right) \Rightarrow \pi_{k}=\left(\frac{\alpha}{\beta}\right)^{k} \pi_{0}\)

故\(\pi=\left[ \pi_{0}, \frac{\alpha}{\beta} \pi_{0},\left(\frac{\alpha}{\beta}\right)^{2} \pi_{0}, \ldots\right]\)，正常返\(\Leftrightarrow \beta<\alpha\)

稳态情况下的计算

\(\left\{X_{n}\right\}\) 为马氏链，不可约、非周期、正常返，此时称马氏链为遍历的。

\[\lim _{n \rightarrow \infty} P_{i j}^{(n)}=f_{i j} \pi_{j}=\pi_{j} \]

假设状态空间有限：

\[\begin{aligned} & P_{i j}^{(n+1)}=\sum_{k \in S} P_{i k}^{(n)} P_{k j} \\ & \pi_{j}=\lim _{n \rightarrow \infty} P_{i j}^{(n+1)}=\sum_{k \in S}\left(\lim _{n \rightarrow+\infty} P_{i k}^{(n)}\right) P_{k j}=\sum_{k \in S} \pi_{k} P_{k j} \end{aligned} \]

由于有\(\forall j \in S, \pi_{j}=\sum_{k \in S} \pi_{k} P_{k j}\)，记：

\[\begin{aligned} & \pi=\left[\pi_{0}, \ldots, \pi_{N-1}\right], \quad \pi=\pi P \Rightarrow \pi(I-P)=0 . \\ & e=[1, \ldots, 1]^{\top}, \quad \pi e=1 \\ & \lim _{n \rightarrow \infty} P_{i j}^{(n)}=\pi_{j} \end{aligned} \]

\(P e=e ， \rho(P)=1\) ，则 \(P\) 只有一个特征值为 1 （没有同为1的多个特征值），其余特征值的模严格小于1。

\[\lim _{n \rightarrow \infty} P^{n}=e \pi=H e_{1} e_{1}^{\top} H^{-1} \]

解线性方程组:

\[\left\{\begin{array} { l } { \pi p = \pi } \\ { \pi e = 1 } \end{array} \Rightarrow \left\{\begin{array}{l} \pi(I-p)=0 \\ \pi e=1 \end{array}\right.\right. \]

记 \(P=\left[\begin{array}{c:c}\alpha & b^{\top} \\ \hdashline a & P_{1}\end{array}\right]\), 有 \(\rho\left(P_{1}\right)<1\)，\(I-P_{1}\) 非奇异, \(\pi=\left[\begin{array}{cc}\pi_{0} &\bar{\pi}\end{array}\right]\)

由第一个式子： \(\left[\begin{array}{ll}\pi_{0} & \pi\end{array}\right] \cdot\left[\begin{array}{cc}1-\alpha & -b^{\top} \\ -a & I-p_{1}\end{array}\right]=0\)，可以解出\(-\pi_{0} b^{\top}+\bar{\pi}\left(I-P_{1}\right)=0 \Rightarrow \bar{\pi}=\pi_{0} b^{\top}\left(I-P_{1}\right)^{-1}\)。

由：\(\pi=\pi_{0}\left[\begin{array}{ll} 1 & b^{\top}\left(I-P_{1}\right)^{-1} \end{array}\right]\)，代入第二个式子解出\(\pi e=1 \Rightarrow \pi_{0}=\frac{1}{1+b^{\top}\left(I-P_{1}\right)^{-1}}\)。

例：已知

\[P=\left[\begin{array}{c:cc} 0.5 & 0.4 & 0.1 \\ \hdashline 0.3 & 0.4 & 0.3 \\ 0.2 & 0.3 & 0.5 \end{array}\right]\]

，求\(\pi\)。

\[\begin{aligned} b^{\top}\left(1-P_{1}\right)^{-1}=\left[\begin{array}{lll} \frac{23}{21} & \frac{18}{21} \end{array}\right] &\Rightarrow \pi_{0}=\frac{1}{1+\frac{23}{21}+\frac{18}{21}}=\frac{21}{62} \\ & \Rightarrow \pi=\left[\begin{array}{lll} \frac{21}{62} & \frac{23}{62} & \frac{18}{62} \end{array}\right] \end{aligned} \]

稳态分布与时间可逆Markov链

若\(\left\{X_{n}\right\}\) 是遍历的（非周期、正常返、不可约）：

记 \(S_{N}^{i}\) : 前 \(N\) 步中访问状态 \(i\) 的次数。

为了求 \(E\left[\frac{S_{N}^{i}}{N}\right]\)，记:

\[I_{k}^{i}= \begin{cases}1, & \text { 当 } X_{k}=i \\ 0, & \text { 当 } X_{k} \neq i\end{cases} \]

则:

\[\begin{aligned} \lim _{N \rightarrow \infty} E\left[\frac{S_{N}^{i}}{N}\right] & =\lim _{N \rightarrow \infty} \frac{\sum_{k=1}^{N} E\left[I_{k}^{i}\right]}{N} \\ & =\lim _{k \rightarrow \infty} E\left[I_{k}^{i i}\right] \quad \text{(L'Hospital)} \\ & =\lim _{k \rightarrow \infty} P\left(X_{k}=i\right)=\pi_{i} \end{aligned} \]

最后一步的证明并不是大数定律，需要结合遍历性证明。

记 \(T_{N}^{i j}\) ：前N步中从状态\(i\)转移到状态\(j\)的次数。

为了求 \(\lim _{n \rightarrow \infty} E\left[\frac{T_{N}^{i j}}{N}\right]\)，记:

\[I_{k}^{i j}= \begin{cases}1, & \text { 当 } X_{k-1}=i, X_{k}=j \\ 0, & \text { H }_{\text {它 }}\end{cases} \]

则类似地:

\[\begin{aligned} \lim _{N \rightarrow \infty} E\left[\frac{T_{N}^{i j}}{N}\right] & =\lim _{N \rightarrow \infty} \frac{\sum_{k=1}^{N} E\left[I_{k}^{i j}\right]}{N} \stackrel{\text { L'Hospital }}{=} \lim _{k \rightarrow \infty} E\left[I_{k}^{i j}\right] \\ & =\lim _{k \rightarrow \infty} P\left(X_{k-1}=i, X_{k}=j\right) \\ & =\lim _{k \rightarrow \infty} P\left(X_{k-1}=i\right) P\left(X_{k}=j\mid X_{k-1}=i\right) \\ & =\pi_{i} P_{i j} \end{aligned} \]

若 \(\left\{X_{n}\right\}\) 状态空间为 \(\{1,2, \ldots\}\) ，且瞬时状态有限。为 \(T=\{1,2, \ldots, t\}\) ，瞬时态的转移矩阵\(P_T\) 为：

\[P_T=\left[\begin{array}{ccc} P_{11} & \cdots & P_{1t} \\ \vdots & \cdots & \vdots\\ P_{t 1} & \cdots & P_{tt} \end{array}\right] \]

记\(S_{i j}\) ：从瞬时态 \(i\) 出发，访问瞬时态 \(j\) 次数的数学期望。

记\(f_{i j}\) ：从瞬时态 \(i\) 出发后；访问瞬时态 \(j\) 的概率。

\[S_{i j}=\sum_{n=0}^{\infty} I_{n}^{i j}, f_{i j}=\sum_{k=1}^{\infty} f_{i j}^{(k)} \leqslant j \]

其中 \(f_{i j}^{(k)}\) 是从\(i\)出发后第\(k\)步首次访问\(j\)的概率。简记 \(\delta_{i j}=1, i=j; \quad 0, i \neq j\) 。

\[\begin{aligned} S_{i j} & =\delta_{i j}+\sum_{n=1}^{\infty} P\left(x_{n}=j \mid x_{0}=i\right) \\ & =\delta_{i j}+\sum_{n=1}^{\infty} \sum_{k=1}^{n} f_{i j}^{(k)} P\left(x_{n}=j \mid X_{k}=j\right) \\ & =\delta_{i j}+\sum_{k=1}^{\infty} \sum_{k=k}^{\infty} f_{i j}^{(k)} P\left(X_{n}=j \mid X_{k}=j\right) \\ & =\delta_{i j}+\left(\sum_{k=1}^{\infty} f_{i j}^{(k)}\right) \cdot \sum_{n=0}^{\infty} P\left(x_{n}=j \mid x_{0}=j\right) \\ & =\delta_{i j}+f_{i j} S_{j j}<+\infty \end{aligned} \]

得 \(f_{i j}=\frac{S_{i j}-\delta_{i j}}{S_{j j}}\) 。

若\(k\)为常返态， \(j\)为瞬时态， \(P_{kj}=0\)（这是瞬时态的要求）。那么：

\[\begin{aligned} S_{i j} & =\delta_{i j}+\sum_{k=1}^{\infty} P\left(X_{n}=j \mid X_{0}=i\right) \\ & =\delta_{i j}+\sum_{k_{1}}^{\infty}\left(\sum_{i_{1}, \ldots, i_{n-1} \in T} P_{i i_{1}} P_{i i_{2}} \ldots P_{i_{n-1} j}\right) \\ & =\delta_{i j}+\sum_{n=1}^{\infty}\left(P_{T}^{n}\right)_{i j} \end{aligned} \]

进而得到：

\[S=\left(S_{i j}\right)=\left[\begin{array}{ccc} S_{11} & \cdots & S_{t} \\ \vdots & \cdots \\ S_{t 1} & \cdots & S_{t+} \end{array}\right]=I+P_{T}+P_{T}^2+\cdots P_{T}^n+\cdots = (I-P_T)^{-1}\\ \]

收敛时要求\(\rho(P_T)<1\)。

稳态分布

若存在分布向量 \(\pi=\left(\pi_{0} ， \pi_{1} ， \cdots\right) ， \pi_{i} \geqslant 0 ， \sum_{i=0}^{\infty} \pi_{i}=1\)，使 \(\pi P=\pi ，\) 称 \(\pi\) 为此马氏链的稳态分布。

从Perron定理可得到以下结论：

• 非周期、不可约、正常返马氏链存在唯一的稳态分布，且稳态分布即为其极限分布。

1. 若 \(A \in \mathbb{R}^{n \times n}\) ，非负，不可约（未必非周期），则 \(\rho(A)\) 为 \(A\) 的单特征值，其对应的特征向量为正向量。

2. 若 \(A\) 有特征值，对应的特征向量非负，则特征向量为正向量，特佂值为 \(P(A)\)。

3. 若 \(B\) 也为非负矩阵，且 \(B \leq A\)（\(\forall i, j\) 有 \(b_{i j} \leq a_{i j}\) ），且 \(B \neq A\) （上面两条是可以同时成立的，别看错了），有 \(\rho(B)<\rho(A)\)。

• 有限状态空间，不可约马氏链虽然没有极限分布，但其稳态分布存在且唯一。

记稳态分布为 \(\pi=\left[\pi_{1}, \ldots, \pi_{n}\right]\)，且 \(\lim _{N \rightarrow \infty} \frac{E\left[S_{N}^{i}\right]}{N}=\pi_{i}\)

\[\pi=\left[\begin{array}{ll} \pi & \pi \end{array}\right], \rho(p)=1, \pi P=\pi, P=\left[\begin{array}{ll} a & b^{\top} \\ a & P_{1} \end{array}\right] \]

则 \(\rho\left(P_{1}\right)<1 ， I-P_{1}\) 可逆

\[\Rightarrow \pi_{0}=\frac{1}{1+b^{\top}(I-P)^{-1} e}, \pi=\pi_{0}\left[1 \quad b^{\top}\left(I-P_{1}\right)^{-1}\right] \]

时间可逆

若\(\left\{X_{n}\right\}\)不可约、遍历（非周期正常返），且稳态分布为\(\pi\)。假设马氏链处于稳态，开始时间为 \(n\) ，考察 \(X_{n} ， X_{n-1}, X_{n-2} \cdots\)

\[\begin{aligned} Q_{i j} & =P\left(X_{m}=j \mid X_{m+1}=i\right)=\frac{P\left(X_{m}=j, X_{m+1}=i\right)}{P\left(X_{m+1}=i\right)} \\ & =\frac{P\left(X_{m}=j\right) P\left(X_{m+1}=i \mid X_{m}=j\right)}{P\left(X_{m+1}=i\right)}=\frac{\pi_{j} P_{j i}}{\pi_{i}} \\ \end{aligned} \]

对\(Q =\left(Q_{i j}\right)\) ，它具备这样的性质：\(\sum_{j} Q_{i j} =\frac{\sum_{j} \pi_{j} P P_{j i}}{\pi i}=\frac{\pi_{i}}{\pi_{i}}=1\)

定义: 设 \(\left\{x_{n}\right\}\) 不可约、非周期、正常返，如果 \(\forall i, j\) ，有 \(Q_{i j}=P_{i j}\)即

\[\begin{aligned} & \frac{\pi_{j} P_{j i}}{\pi_{i}}=P_{i j} \\ & \pi_{i} P_{i j}=\pi_{j} P_{j i} \end{aligned} \]

称 \(\left\{x_{n}\right\}\) 关于时间可逆。

• 引理：若能找到 \(X=\left(X_{1} ， X_{2} ， \cdots\right)\) ，其中 \(X_{i}>0\) ，且 \(\sum_i X_{i}<+\infty\)，能够使 \(X_{i} P_{i j}=X_{j} P_{j i}\) 。则此马氏链关于时间可逆，且其稳态分布为 \(\pi=\left[\pi_{i}\right]\)，其中\(\pi_{i}=\frac{X_{i}}{\sum_{k} X_{k}}\)。

证明: 只需证 \(\pi\) 是稳态分布，此时 \(\sum_{i} \pi_{i}=1\) 和 \(\sum_{i} \pi_{i} P_{i j}=\pi_{j}\) 成立。

\[\begin{aligned} \sum_{i} \pi_{i} P_{i j} & =\frac{1}{\sum_{k} x_{k}} \sum_{i} x_{i} P_{i j} \\ & =\frac{1}{\sum_{k} x_{k}} \sum_{i} P_{j i} x_{j} \\ & =\frac{x_{j}}{\sum_{k} x_{k}} \cdot \sum_{i} P_{j i}=\frac{x_{j}}{\sum_{k} x_{k}}=\pi_{j} \end{aligned} \]

• 定理：\(\left\{X_{n}\right\}\) 非周期、不可约（有限状态），转移矩阵为 \(P\) 。若存在对角阵\(D\)：

\[D=\left(\begin{array}{lll} d_{1} & & \\ & d_2 & \\ & & \ddots \\ & & & d_{n} \end{array}\right) \]

其中 \(d>0 ， \sum_{i} d_{i}^{2}<+\infty\)，使 \(D P D^{-1}\) 为对角阵，则此马氏链关于时间可逆。

例：对于三对角的状态转移矩阵：

\[P=\left(\begin{array}{ccccc} a_1 & b_1 & & & \\ c_2 & a_2 & b_2 & \\ & c_3 & a_3 & b_3 \\ & & & \ddots & b_{n-1} \\ & & & c_{n} & a_n \end{array}\right) \]

取：

\[D P D^{-1}=\left(\begin{array}{cccc} a_1 & \sqrt{b_1 c_2} & \\ \sqrt{b_1 c_2} & a_2 & \\ & & \ddots & \\ & & & \ddots & \sqrt{b_{n-1} c_n c_n}\\ & & & \sqrt{b_{n-1} c_n c_n} & a_n \end{array}\right) \]

此时：

\[\begin{aligned} &D=\left(\begin{array}{llll} 1 & & & \\ & \sqrt{\frac{b_{1}}{c_{2}}} & & \\ & & \sqrt{\frac{b_{1}}{c_{2}} \frac{b_{2}}{c_{3}}} & & \\ & & & \ddots & \\ & & & &\sqrt{\frac{b_{1}}{c_{2}} \frac{b_{2}}{c_3} \ldots \frac{b_{n-1}}{c_{n}}} \end{array}\right) \end{aligned} \]

\(\left\{X_n\right\}\) 非周期、正常返、不可约，有转移矩阵 \(P\) ，对 \(i \neq j\) ，满足\(P_{i j}\) 和 \(P_{j i}\) 同时为零或同时不为零，则 \(\left\{x_{n}\right\}\) 关于时间可逆等价于对\(\forall i, i_{1}, \ldots, i_{k}\) ，有\(P_{i i_{1}} \cdot P_{i_{1} i_{2}} \cdots P_{i_{k-1} i_{k}} \cdot P_{i_{k} i}=P_{i i_{k}} \cdot P_{i_k i_{k-1}} \ldots P_{i_2 i_1}\cdot P_{i_1 i}\)。

证明：

关于时间可逆\(\Rightarrow\)

\[\begin{align} \pi_{i} P_{i i_{1}} P_{i_{1} i_{2}} \cdots P_{i_{k-1} i_k} P_{i_{k} i}&=P_{i_1 i} \pi_{i_1} P_{i_{1} i_{2}} \cdots P_{i_{k-1} i_k} P_{i_{k} i}\\ &=\cdots\\ &=P_{i i_{1}} \cdots P_{i_{k-1} i_{k}} \cdot \cdot P_{i_{k}i}\pi_{i_{k}} \\ & =\pi_{i} P_{i_k} P_{i_k i_{k-1}} \cdots P_{i_2 i_1} \cdot P_{i_1 i} \end{align} \]

\(P_{i i_{1}} \cdot P_{i_{1} i_{2}} \cdots P_{i_{k-1} i_{k}} \cdot P_{i_{k} i}=P_{i i_{k}} \cdot P_{i_k i_{k-1}} \ldots P_{i_2 i_1}\cdot P_{i_1 i} \Rightarrow\)：加总所有路径，

\[\begin{aligned} & \sum_{i_{1}, \ldots, i_{k}} P_{i_{i}} \cdots P_{i_{k-1} i_{k}} P_{i_{k j}} \cdot P_{j i}=\sum_{i_{1}, \ldots, i_{k}} P_{i j} P_{j i_{k}} P_{i_{k} i_{k-1}} \ldots P_{i_{i} i} \\ \Rightarrow & \lim _{k \rightarrow \infty} P\left(X_{k+1}=j \mid X_{0}=i\right)\cdot P_{j i}=P_{i j} \cdot \lim _{k \rightarrow \infty} P\left(X_{k+1}=i \mid X_{0}=j\right) \\ \Rightarrow & \pi_{j} P_{j i}=\pi_{i} P_{i j} \quad(\text { 遍历性 }) \end{aligned} \]

Appendix. 非负矩阵的性质

\(A=\left(a_{i j}\right) \in \mathbb{R}^{n \times n}\)

• 非负矩阵： \(\forall i, j\) ，有 \(a_{i j} \geqslant 0\)；
• 不可约： \(\forall i, j, i \neq j\), 有 \(\exists k\) 使得 \(\left(A^{k}\right)_{i j}>0\)；
• 周期为 \(d: E=\left\{n \mid\left(A^{n}\right)_{i i}>0\right\}\) 中所有元素最大公约数为 \(d\)；
• 谱半径 \(\rho(A)=\max \{|\lambda| \mid \lambda 为 A 的特征值\}\)。
• 范数 \(||A||_{\infty} = \max_i \sum_j |a_{ij}|\geqslant \rho(A)\)

谱半径的相关定理：

1. \(\rho(A)<1 \Leftrightarrow \lim_{k \to \infty}A^k=0\)。
2. 若 \(\rho(A)<1\) ，则 \(I-A\) 为非奇异。 \((I-A)^{-1}=I+A+A^{2}+\cdots\) 。
3. Perron定理：若 A 不可约，非周期，非负矩阵，则 \(\rho(A)\) 是 \(A\) 的特征值，且为单特征值，对应的特佂向量为正向量。若 \(\lambda\)是异于 \(\rho(A)\) 的特征值，则 \(|\lambda|<\rho(A)\)。特别地，若 \(A\) 的某特征值对应的特征向量为正向量，则此特征值必为 \(\rho(A)\)。
4. 设 \(A^{\prime}\) 为 \(A\) 的主子阵，且 \(A \neq A^{\prime}\) ，则 \(\rho\left(A^{\prime}\right)<\rho(A)\)。