随机过程 | 2.2 离散不可约马氏链

2026-08-16 14:49:44 星期日
哈哈，还有一大半没复习呢.

2.2 离散不可约马氏链

Proposition 2.2.1 设马氏链 \(P\) 不可约，则有：

  1. 如果状态 \(j\) 常返，那么 \(\sum_{i \in S} e_{ji} = m_{jj}\). 而且如果定义 \(\mu_i = e_{ji}\)，那么 \(\mu_i\) 是 \(P\) 的不变测度.
  2. 对于不可约常返马氏链，不变测度之间至多相差一个常数因子.

证明.

  1. \[\begin{aligned} \sum_i e_{ji}(n) &= \sum_i \mathbb{P}_j (X_n = i, X_m \neq j, \forall 1 \le m < n) \\ &= \mathbb{P}_j (X_m \neq j, \forall 1 \le m < n) \\ &= \mathbb{P}_j (\tau_j^+ \ge n) \end{aligned} \]

    \[\sum_{i \in S} e_{ji} = \sum_{i \in S} \sum_n e_{ji}(n) = \sum_n \sum_{i \in S} e_{ji}(n) = \sum_n \mathbb{P}_j (\tau_j^+ \ge n) = E_j \tau_j^+ = m_{jj}. \]

    对于不变测度的证明，我们先简单梳理一下题意：非负实序列 \(\mu = (\mu_i)_{i \in S}\)（即 \(\mu_i \ge 0\)，且 \(\mu \not\equiv 0\)）. 定义 \((S, \varphi)\) 上的测度 \(\mu\)：

    \[\forall A \in \varphi, \quad \mu(A) = \sum_{i \in A} \mu_i. \]

    显然它满足 \(\mu(\emptyset) = 0\) 且具有可列可加性，于是它确实是一个测度. 我们说 \(\mu\) 是一个不变测度，如果：

    \[\mu P = \mu \]

    或写成坐标分量形式：

    \[\mu_i = \sum_{j \in S} \mu_j p_{ji}, \quad \forall i \in S. \]

    而且

    \[\mu(S) = \sum_{i \in S} \mu_i = m_{jj}, \]

    可能是正无穷也可能是有限的（取决于状态 \(j\) 是零常返还是正常返了），实际上：

    \[\mu(S) = \sum_{i \in S} \mu_i = \sum_{i \in S} e_{ji} = m_{jj}. \]

    讨论取值：

    • 如果 \(m_{jj} < \infty\)，即状态 \(j\) 是正常返的，那么这时候 \(\mu\) 就是有限测度.
    • 如果 \(m_{jj} = \infty\)，状态 \(j\) 是零常返的，\(\mu\) 是 \(\sigma\)-有限测度，这是因为 \(S\) 可数，可以把 \(S\) 写成可数个单点集的不交并，\(\mu\) 在单点集上的结果必然是有限的，所以满足 \(\sigma\)-有限的定义.

    开始证明：由于 \(e_{ji}(n+1) = \sum_{k \neq j} e_{jk}(n) p_{ki}\)，

    \[\sum_{n=1}^\infty e_{ji}(n+1) = \sum_{n=1}^\infty \sum_{k \neq j} e_{jk}(n) p_{ki} = \sum_{k \neq j} \sum_{n=1}^\infty e_{jk}(n) p_{ki} = \sum_{k \neq j} e_{jk} p_{ki}. \]

    而

    \[\text{LHS} = e_{ji} - e_{ji}(1) = e_{ji} - p_{ji}. \]

    移项得到：

    \[e_{ji} = p_{ji} + \sum_{k \neq j} e_{jk} p_{ki} = e_{jj} p_{ji} + \sum_{k \neq j} e_{jk} p_{ki} = \sum_{k \in S} e_{jk} p_{ki}. \]

    注意，这里我们用到了 \(e_{jj} = f_{jj} = 1\).

  2. 略.

Proposition 2.2.2 不可约有限状态的马氏链一定是正常返的.

证明. 记 \(S = \{1,2,\cdots,N\}\)，先证任何状态都是常返的。反证法：若状态 \(j\) 非常返，则 \(\forall i \in S\)，\(\lim_{n \to \infty} P_{ij}(n) = 0\).

注意有 \(\sum_{i \in S} P_{ij}(n) = 1\)，令 \(n \to \infty\)，则

\[1 = \lim_{n \to \infty} \sum_{i=1}^{N} P_{ij}(n) = \sum_{i=1}^{N} \lim_{n \to \infty} P_{ij}(n) = 0, \]

矛盾，所以 \(P\) 是常返的，\(\forall j \in S\).

记 \(\mu_i = e_{ji}\)，则 \(\mu = (\mu_1, \mu_2, \cdots)\) 是 \(P\) 的不变测度，而且

\[m_{jj} = \sum_{i=1}^{N} \mu_i = \sum_{i=1}^{N} e_{ji} < \infty. \]

综上，\(P\) 为正常返的.

Theorem 2.2.3 设 Markov chain \(P\) 不可约，则下面命题等价：

  1. \(P\) 正常返；
  2. \(P\) 有唯一的平稳分布 \(\pi\)：\(\forall j\)，\(\pi_j = 1/m_{jj}\).

若 \(P\) 是非周期的，则 (1)(2) 都等价于

\[\lim_{n \to \infty} P_{ij}(n) = \pi_j \ge 0 \quad \forall j \in S. \]

证明. 先证 (1) \(\Leftrightarrow\) (2).

(1) \(\Rightarrow\) (2)：由 Proposition 2.2.1，对不可约常返链，固定 \(j \in S\)，定义 \(\mu_i = e_{ji}\). 则 \(\mu = (\mu_i)_{i \in S}\) 是一个不变测度，即 \(\mu P = \mu\).

由于正常返，即 \(m_{jj} < +\infty\)，而 \(\sum_{i \in S} e_{ji} = m_{jj} < +\infty\)，令

\[\pi_i = \frac{\mu_i}{\sum_{k \in S} \mu_k}. \]

则

\[\sum_i \pi_i = \frac{\sum_i \mu_i}{m_{jj}} = 1, \]

\[\pi P = \frac{\mu P}{m_{jj}} = \frac{\mu}{m_{jj}} = \pi. \]

所以 \(\pi\) 是一个平稳分布.

而

\[\pi_j = \frac{\mu_j}{m_{jj}} = \frac{e_{jj}}{m_{jj}} = \frac{1}{m_{jj}}. \]

(2) \(\Rightarrow\) (1)：我们先证 \(P\) 是常返的. 反证法. 若 \(P\) 非常返，则由 Theorem 2.1.10，\(\lim_{n \to \infty} P_{ij}(n) = 0\)，\(\forall i,j \in S\).

根据 \(\pi = \pi P = \pi P^n\)，有

\[\pi_j = \sum_i \pi_i P_{ij}(n) \xrightarrow{n \to \infty} \sum_i \pi_i \cdot 0 = 0, \]

矛盾. \(\therefore P\) 必常返.

因为常返态 \(j\)，有

\[\pi_i = \pi_j \frac{e_{ji}}{e_{jj}} = \pi_j e_{ji}, \]

所以

\[\frac{\pi_i}{\pi_j} = e_{ji}. \]

从而

\[m_{jj} = \sum_i e_{ji} = \sum_i \frac{\pi_i}{\pi_j} = \frac{\sum_i \pi_i}{\pi_j} = \frac{1}{\pi_j} < +\infty. \]

\(\therefore j\) 正常返.

(1),(2) \(\Leftrightarrow\) (3) 略.

Corollary 2.2.4 不可约常返马氏链的状态，要么都正常返，要么都零常返.

证明. 设 \(j\) 正常返，则 \(\nu_i = \dfrac{e_{ij}}{m_{jj}}\) 为平稳分布 \(\nu = \nu P\)，\(\forall i \in S\)；而 \(\mu_k = e_{ik}\) 是不变测度. \(\therefore \exists \lambda\)，\(\mu = \lambda \nu\).

于是

\[\mu_k = \lambda \cdot \dfrac{e_{jk}}{m_{jj}}, \]

即

\[e_{ik} = \lambda \cdot \dfrac{e_{jk}}{m_{jj}}. \]

因此

\[m_{ii} = \sum_{k \in S} e_{ik} = \lambda \sum_{k \in S} \dfrac{e_{jk}}{m_{jj}} = \lambda \dfrac{m_{jj}}{m_{jj}} = \lambda < \infty. \]

所以 \(i\) 也正常返.

posted @ 2026-08-16 14:50  夜秋子  阅读(9)  评论(0)    收藏  举报