概率与随机变量(6)
马尔可夫链
离散时间马尔可夫链 {Xn; n = 0,1,...} 是一种离散时间、离散取值的随机序列,其特点是:给定 X0 ,...,Xn 时,下一个随机变量 Xₙ₊₁ 仅通过转移概率依赖于 Xn
\[P_{ij}=\Pr\left\{X_{n+1}=j\middle|X_n=i,X_{n-1}=i_{n-1},\ldots,X_1=i,X_0=i_0\right\}=\Pr\left\{X_{n+1}=j\middle|X_n=i\right\}
\]
Xn是系统在时刻n的状态
给定过去状态 X₀、X₁ ,...,Xₙ₋₁ 和当前状态 Xₙ 时,任何未来状态 Xₙ₊₁ 的条件分布均与过去状态无关,且仅取决于当前状态。
马尔可夫链的转移概率Pij满足
\[\mathrm{P_{ij}\geqslant0,\quad\sum_{j=0}^\infty P_{ij}=1}
\]
\[\left.\mathbf{P}=\left(\begin{array}{cccc}\mathbf{P}_{00}&\mathbf{P}_{01}&\mathbf{P}_{02}&...\\\mathbf{P}_{10}&\mathbf{P}_{11}&\mathbf{P}_{12}&...\\\vdots\\\mathbf{P}_{\mathrm{i}0}&\mathbf{P}_{\mathrm{i}1}&\mathbf{P}_{\mathrm{i}2}&...\\\vdots&\vdots&\vdots\end{array}\right.\right)
\]
用矩阵描述就是每一排代表现在的状态,以及切换到对应的状态的概率
例如第一排P₀₀代表0状态到0状态,0状态到1状态......的概率,然后其状态跳转的概率之和为1
P 是一种特殊的矩阵:其元素均为非负数,且每一行的元素之和均为 1。具有这些性质的矩阵被称为概率矩阵。
马尔可夫链也可以通过所谓的状态转移图来描述。下面给出了一个三态链的示例。

Chapman-Kolmogorov Equation
\[\text{the n-step transition probability P}_{\mathrm{ij}}^{(n)}
\]
含义:从时刻 \(m\) 的状态 \(i\) 出发,经过 \(n\) 步(到达时刻 \(n+m\)),最终处于状态 \(j\) 的概率
\[\mathrm{P_{ij}^{(n)}=Pr\begin{Bmatrix}X_{n+m}=j|X_m=i\end{Bmatrix}}
\]
\[\mathrm{P_{ij}^{(n+m)}~=Pr\left\{X_{n+m}=j|X_0=i\right\}}
\]
\[=\sum_{\mathrm{k=0}}^\infty\underbrace{\Pr\left\{\mathrm{X_{n+m}=j|X_n=k,X_0=i}\right\}}_{\mathrm{P_{kj}^{(m)}}}\underbrace{\Pr\left\{\mathrm{X_n=k|X_0=i}\right\}}_{\mathrm{P_{ik}^{(n)}}}
\]
(简单解释这个公式就是说明初始状态是i的情况下,n+m步转移到 j状态的概率,本质就是列举全部的可能性然后相加)
时间齐次性: \(P_{ij}^{(n+m)} = \Pr\{X_{n+m} = j | X_0 = i\}\),并等同于 \(n\) 步转移。这隐含了时间齐次性(即转移概率不随起始时间改变,只与步数有关),所以从 \(X_0\) 走 \(n+m\) 步,等价于从 \(X_0\) 走 \(n\) 步后再走 \(m\) 步。
总步数是 \(n+m\)。我们在中间时刻 \(n\) 引入了一个“中转站” \(k\)。先算 \(i \to k\)(走 \(n\) 步,概率 \(P_{ik}^{(n)}\)),再算 \(k \to j\)(走 \(m\) 步,概率 \(P_{kj}^{(m)}\)),把所有中转站 \(k\) 加起来,就是总概率。
\[\mathrm{P_{ij}^{(n+m)}=\sum_{k=0}^\infty P_{ik}^{(n)}P_{kj}^{(m)}}
\]
查普曼-柯尔莫戈洛夫方程可以用矩阵形式表示,n步转移矩阵可通过将矩阵P自乘n次来获得
\[\begin{gathered}\mathbf{P}^{(n+m)}=\mathbf{P}^{(n)}\mathbf{P}^{(m)}\\\mathbf{P}^{(1)}=\mathbf{P}\\\mathbf{P}^{(2)}=\mathbf{P}^{(1)}\mathbf{P}^{(1)}=\mathbf{P}\mathbf{P}\\\mathbf{P}^{(3)}=\mathbf{P}^{(2)}\mathbf{P}^{(1)}=\mathbf{P}^2\mathbf{P}=\mathbf{P}^3\\\cdots=\cdots\\\mathbf{P}^{(n)}=\mathbf{P}^{(n-1+1)}=\mathbf{P}^{n-1}\mathbf{P}\end{gathered}
\]
无条件状态概率
如果我们已知初始状态 i = 0,1,2 的概率分布 ,..... Pr {X0 = i},就可以计算第 n 次转移后的状态概率
\[\begin{gathered}\mathrm{Pr}\left(X_{\mathfrak{n}}=\mathfrak{j}\right)=\sum_{\mathrm{i=0}}^{\infty}\Pr\left\{X_{\mathrm{n}}=\mathrm{j}|X_{0}=\mathrm{i}\right\}\Pr\left\{X_{0}=\mathrm{i}\right\}\\=\sum_{i=0}^\infty\mathrm{P}_{ij}^{(n)}\mathrm{Pr}\left\{\mathrm{X}_0=\mathrm{i}\right\}\end{gathered}
\]
马尔科夫链性质
可达状态 (Accessible state)
- 定义:如果存在某个步数 \(n\),从 \(i\) 走 \(n\) 步到 \(j\) 的概率 \(P_{ij}^{(n)} > 0\),就说 \(j\) 从 \(i\) 是“可达”的。
- 例子:今天晴,明天可能晴/雨,所以“雨”从“晴”是可达的(走1步概率>0)。
互通状态 (Communicating states)
- 定义:如果 \(i\) 能到 \(j\),且 \(j\) 也能到 \(i\)(互相可达),就叫“互通”,记作 \(i \leftrightarrow j\)。
- 例子:晴能变雨,雨也能变晴,所以 晴 \(\leftrightarrow\) 雨(互相连通)。
类 (Class)
- 定义:所有互通的状态,被归为“同一个类”(等价类)。
- 例子:晴和雨互相连通,它们属于同一个类。
- 补充:如果有个状态“死路”(只能进不能出),它就自己单独成一个类。
不可约链 (Irreducible chain)
- 定义:如果整个系统只有一个类(所有状态都互通),就叫不可约链。
- 例子:晴/雨互相都能变,整个系统只有一个类 \(\rightarrow\) 不可约链。
- 反例:如果系统里有个“吸收态”(比如机器坏了就修不好),那它和别的状态不互通,系统就有多个类,就是“可约链”。
这里到达3之后就会一直处于该状态进行循环,所以3就是吸收态
若状态 i 最终会被再次访问,则称该状态为复发状态
\[\mathrm{Pr}\left\{\mathrm{X}_{\mathrm{n}}=\mathrm{i}\quad\text{for some n}|\mathrm{X}_{0}=\mathrm{i}\right\}=1
\]
正回归状态是回归状态,且过程返回到状态 i 的期望时间是有限的。在有限马尔可夫链中,所有回归状态均为正回归状态
复发类:{0,1} {2,3} 暂态;{4}
周期状态 (Periodic states)
- 定义:状态 \(i\) 的周期是 \(d\),意思是:你从 \(i\) 出发,只有在步数 \(n\) 是 \(d\) 的倍数时,才有可能回到 \(i\);其他步数绝对回不去(概率为0)
非周期状态 (Aperiodic state)
遍历状态 (Ergodic states)
- 定义:一个状态如果既是“常返的”(迟早会回来,且平均返回时间有限),又是“非周期的”,就叫遍历状态。
- 含义:这是马尔可夫链里最“完美”的状态。因为不卡周期,系统长期运行后,处于各个状态的概率会稳定下来(收敛到平稳分布)。通常我们研究长期趋势,都要求链是遍历的。
极限概率
假设天气的概率是(晴天到晴天概率0.7,雨天到晴天概率0.4):
\[\mathbf{P}=\begin{pmatrix}0.7&0.3\\0.4&0.6\end{pmatrix}
\]
我们运行n次:
\[\begin{gathered}\mathbf{P}^{(10)}=\begin{pmatrix}0.7&0.3\\0.4&0.6\end{pmatrix}^{10}=\begin{pmatrix}0.57143&0.42857\\0.57143&0.42857\end{pmatrix}\\\mathbf{P}^{(100)}=\begin{pmatrix}0.7&0.3\\0.4&0.6\end{pmatrix}^{100}=\begin{pmatrix}0.57143&0.42857\\0.57143&0.42857\end{pmatrix}\end{gathered}
\]
这里说明了马尔可夫链长期运行后,概率分布会收敛到平稳(忘记初始状态)
当 \(n \gg 1\)(步数极大)时,\(P^{(n)}_{11} = P^{(n)}_{21}\),且 \(P^{(n)}_{12} = P^{(n)}_{22}\)。
意思是:矩阵的每一行都变得完全相同。
- 第1行是“从晴出发”到各状态的概率,第2行是“从雨出发”到各状态的概率。
- 当步数足够多,不管第一天是晴还是雨,第 \(n\) 天是晴的概率都是 ~57.14%,是雨的概率都是 ~42.86%。
- 系统“忘记”了初始天气,达到了平稳分布。
定理
\[对于不可约遍历马尔可夫链,极限 \lim_{n \to \infty} P_{ij}(n) 存在且与 i 无关。此外,令
\]
\[\pi_j=\lim_{n\to\infty}\Pr\left\{X_n=j\right\}=\lim_{n\to\infty}P_{ij}^{(n)}.
\]
\[那么,π_j 是以下方程组的唯一非负解
\]
\[\pi_\mathrm{j}=\sum_{\mathrm{i}=0}^\infty\pi_\mathrm{i}\mathrm{P}_\mathrm{ij},\quad\mathrm{j}=0,1,2,...
\]
\[\sum_{j=0}^\infty\pi_j=1.
\]
\(\pi_j\) 就是系统“彻底稳定”后,处于状态 \(j\) 的长期概率。上一张图里算出的 0.57143(晴)和 0.42857(雨)就是这里的 \(\pi_j\)
- 方程1(\(\pi = \pi P\)):意思是“稳定后,再走一步还是稳定”。今天的概率分布(\(\pi_i\))乘转移矩阵(\(P_{ij}\))等于明天的概率分布(\(\pi_j\)),这就是平稳的本质
- 方程2(归一化):所有状态的概率加起来必须是 1


\[\mathbf{P}=\begin{pmatrix}\alpha&1-\alpha\\\beta&1-\beta\end{pmatrix}
\]
\[根据已经平稳后的性质有:\begin{aligned}&\pi_0=\alpha\pi_0+\beta\pi_1\\&\pi_1=(1-\alpha)\pi_0+(1-\beta)\pi_1\\&\pi_0+\pi_1=1\end{aligned}
\]
\[解得:\pi_0=\frac{\beta}{1+\beta-\alpha}\\\pi_1=\frac{1-\alpha}{1+\beta-\alpha}
\]

\[\begin{aligned}&\pi_{0}=0.45\pi_0+0.05\pi_1+0.01\pi_2\\&\pi_{1}=0.48\pi_0+0.70\pi_1+0.50\pi_2\\&\pi_0+\pi_1+\pi_2=1\end{aligned}
\]
\[解得\pi_0=0.063,\quad\pi_1=0.623,\quad\pi_2=0.314
\]

一款数字移动电话每20毫秒的时间槽内通过无线连接传输一个数据包。数据包以概率p = 0.1出错接收,且各数据包的接收错误与否相互独立。为避免在链路质量较差时浪费发射机功率,每当连续五个数据包均以错误方式接收时,发射机便会进入超时状态。在超时期间,移动终端在每个时间槽内进行一次独立的伯努利试验,其成功概率为q = 0.01。一旦试验成功,移动终端将在下一个时间槽开始传输,且其行为仿佛此前没有任何数据包以错误方式接收。请为该系统构建马尔可夫链,并求出其极限状态概率。

\[\mathbf{P}=\begin{pmatrix}1-\mathfrak{p}&\mathfrak{p}&0&0&0&0\\1-\mathfrak{p}&0&\mathfrak{p}&0&0&0\\1-\mathfrak{p}&0&0&\mathfrak{p}&0&0\\1-\mathfrak{p}&0&0&0&\mathfrak{p}&0\\1-\mathfrak{p}&0&0&0&0&\mathfrak{p}\\\mathfrak{q}&0&0&0&0&1-\mathfrak{q}\end{pmatrix}
\]
\[\begin{aligned}&\pi_{0}=(1-\mathfrak{p})\left(\pi_0+\cdotp\cdotp\cdotp+\pi_4\right)+\mathfrak{q}\pi_5\\&\pi_{1}=\mathfrak{p}\pi_0\\&\pi_{2}=\mathfrak{p}\pi_1\Rightarrow\pi_2=\mathfrak{p}^2\pi_0\\&\pi_{3}=\mathfrak{p}\pi_2\Rightarrow\pi_3=\mathfrak{p}^3\pi_0\\&\pi_{4}=\mathfrak{p}\pi_3\Rightarrow\pi_4=\mathfrak{p}^4\pi_0\\&\pi_{5}=\mathfrak{p}\pi_4+\begin{pmatrix}1-\mathfrak{q}\end{pmatrix}\pi_5\Rightarrow\pi_5=\frac{\mathfrak{p}^5}{1-\mathfrak{q}}\pi_0\end{aligned}
\]
\[\begin{gathered}\pi_0+\pi_1+...+\pi_5=1\\\Rightarrow\pi_0\left[1+\mathrm{p}+\mathrm{p}^2+\mathrm{p}^3+\mathrm{p}^4+\frac{\mathrm{p}^5}{1-\mathrm{q}}\right]=1\\\Rightarrow\pi_0=\frac{1}{\frac{1-p^5}{1-p}+\frac{p^5}{1-q}}.\end{gathered}
\]

在每个时隙中,路由器可以选择将到达的数据分组存储在其缓冲区中,或者转发一个已存储的数据包(并将其从缓冲区中移除)。在每个时隙中,新分组以概率 p 到达,且其到达与否与其他所有时隙中的到达事件相互独立。只要路由器存储的数据包数量少于 5 个,该新数据包就会被存储。如果缓冲区中已存储 5 个数据包,则路由器会丢弃该新包。如果没有新包到达且路由器的缓冲区中仍有 n > 0 个数据包,则路由器会转发其中一个已存储的数据包;该数据包随后将从缓冲区中移除。令 Xn 表示时刻 n 时缓冲区中的数据包数量。请绘制 Xn 的马尔可夫链,并求出其极限概率。
寄存器状态图为:

\[\mathbf{P}=\begin{pmatrix}1-\mathfrak{p}&\mathfrak{p}&0&0&0&0\\1-\mathfrak{p}&0&\mathfrak{p}&0&0&0\\0&1-\mathfrak{p}&0&\mathfrak{p}&0&0\\0&0&1-\mathfrak{p}&0&\mathfrak{p}&0\\0&0&0&1-\mathfrak{p}&0&\mathfrak{p}\\0&0&0&0&1-\mathfrak{p}&\mathfrak{p}\end{pmatrix}
\]
\[\begin{aligned}&\pi_{0}=\left(1-\mathfrak{p}\right)\pi_0+\left(1-\mathfrak{p}\right)\pi_1\Rightarrow\pi_1=\frac{\mathfrak{p}}{1-\mathfrak{p}}\pi_0\\&\pi_{1}=\mathrm{p}\pi_0+\left(1-\mathrm{p}\right)\pi_2\Rightarrow\pi_2=\left(\frac{\mathrm{p}}{1-\mathrm{p}}\right)^2\pi_0\\&\pi_{2}=\mathfrak{p}\pi_1+\left(1-\mathfrak{p}\right)\pi_3\Rightarrow\\&\pi_{3}=\mathfrak{p}\pi_2+(1-\mathfrak{p})\pi_3\\&\pi_{4}=\mathfrak{p}\pi_3+(1-\mathfrak{p})\pi_5\\&\pi_{5}=\mathfrak{p}\pi_4+\mathfrak{p}\pi_5\Rightarrow\pi_5=\frac{\mathfrak{p}}{1-\mathfrak{p}}\pi_4\\&\pi_0+\pi_1+\pi_2+\pi_3+\pi_4+\pi_5=1\end{aligned}
\]
\[\begin{gathered}\pi_{n}=\left(\frac{p}{1-p}\right)^{n}\pi_{0},\quad n=1,2,3,4,5\\\pi_{0}+\pi_{1}+\pi_{2}+\pi_{3}+\pi_{4}+\pi_{5}=1\\1=\pi_{0}\sum_{n=0}^{5}\left(\frac{p}{1-p}\right)^{n}\Rightarrow\pi_{0}=\frac{1}{\sum_{n=0}^{5}\left(\frac{p}{1-p}\right)^{n}}\\\pi_{i}=\frac{\left(\frac{p}{1-p}\right)^{i}}{\sum_{n=0}^{5}\left(\frac{p}{1-p}\right)^{n}},\quad i=1,2,\ldots,5.\end{gathered}
\]