随机过程 | 马氏过程 2.1 定义

2026-08-14 12:55:43 星期五
不想回学校.

---

2.1 基本性质

考虑 \(\{X_t\}_{t \in T}\)，\(T = \mathbb{R}^+\) 或 \(\mathbb{N}\)，\(X_t: \Omega \to S\)，\((S, \varphi)\) 为 Polish 空间.

定义 2.1.1 有两种定义马氏过程的方法：

1. \(\forall n \geq 1\)，\(t_1 < t_2 < \cdots < t_n < t_{n+1}\)，\(t_i \in T\)，\(\forall B \in \varphi\)，

   \[\mathbb{P}(X_{t_{n+1}} \in B \mid X_{t_1}, \ldots, X_{t_n}) = \mathbb{P}(X_{t_{n+1}} \in B \mid X_{t_n}). \]

2. 设 \(\{X_t\}_{t \in T}\) 为 \(\sigma\)-代数流，且 \(\{X_t\}_{t \in T}\) 适应 \(\{\mathcal{F}_t\}_{t \in T}\)，如果 \(\forall s < t\)，\(s,t \in T\)，\(\forall B \in \varphi\)，

   \[\mathbb{P}(X_t \in B \mid \mathcal{F}_s) = \mathbb{P}(X_t \in B \mid X_s). \]

我们主要讨论一种特殊情况：\((S, \varphi)\) 为可数的，\(S = \{i, j, k, \ldots\}\)，则 \(\{X_t\}_{t \in T}\) 为马氏链.

初始分布：

\[\mu_0(\{i\}) = \mathbb{P}(X_0 = i). \]

定义

\[P(s,i; t,j) \triangleq \mathbb{P}(X_t = j \mid X_s = i). \]

满足：

1. \(P(s,i;t,j) \geq 0\)，\(\sum_{j \in S} P(s,i;t,j) = 1\)；

2. C-K 方程：

   \[P(s,i;t,j) = \sum_{k \in S} P(s,i;u,k) P(u,k;t,j). \]

我们引入转移矩阵 \(P(s,t) = (P(s,i;t,j))_{i,j \in S}\)，可以简化上面的描述：

1. \(P(s,t)\) 非负，设 \(\mathbf{1} = (1,\ldots,1)^T\)，有 \(P(s,t)\mathbf{1} = \mathbf{1}\)；

2. \(P(s,t) = P(s,u)P(u,t)\).

而且我们一般讨论时齐的马氏链，用数学语言：\(\forall s < t\)，\(P(s,i;t,j) \triangleq P_{ij}(s,t)\)，只依赖 \(t-s\).

于是我们可以定义

\[P_{ij}(t-s) \triangleq P_{ij}(s,t). \]

转移矩阵可以写成：

\[P(t-s) \triangleq P(s,t) = (P_{ij}(t-s))_{i,j \in S}. \]

那么 C-K 方程为：\(\forall s,t \geq 0\)，

\[P(s+t) = P(s)P(t). \]

再加条件：\(T = \mathbb{N}\)（即离散时间），\(P \triangleq P(1)\) 称为一步转移概率，\(P^n = P(n)\) 为 \(n\) 步转移概率.

定义 2.1.2 对 \(i,j \in S\)，若 \(\exists n \geqslant 1\)，使得 \(P_{ij}(n) > 0\)，则称 \(i\) 可达 \(j\).

定义 2.1.3 若 \(\forall i,j \in S\)，\(i\) 可达 \(j\)，称该马氏链不可约.

定义 2.1.4（首次回访时间） \(\tau_j^+ = \inf\{ n \geqslant 1 : X_n = j \}\).

符号约定：

1. \(\mathbb{P}_i(\cdot) \triangleq \mathbb{P}(\cdot \mid X_0 = i)\)，表示从 \(i\) 出发到某地的概率.

2. \(f_{ij}(n) = \mathbb{P}_i(\tau_j^+ = n) = \mathbb{P}_i(X_n = j,\ \forall 1 \leqslant m < n,\ X_m \ne j)\).

3. \(f_{ij} \triangleq \sum_{n=1}^\infty f_{ij}(n)\)，表示从 \(i\) 出发，经历有限步到达 \(j\) 的概率；\(1 - f_{ij} = \mathbb{P}_i(T_j^+ = \infty)\).

4. \(m_{ij} \triangleq \sum_{n=1}^\infty n f_{ij}(n)\)，平均回访时间.

定义 2.1.5 若 \(f_{jj} = 1\)，则称 \(j\) 为常返的；若 \(f_{jj} < 1\)，则 \(j\) 是非常返的.

当 \(f_{jj} = 1\) 时，

\[m_{jj} = \sum_{n=1}^\infty n f_{jj}(n) = \sum_{n=1}^\infty n \mathbb{P}_j(\tau_j^+ = n) = \mathbb{E}_j \tau_j^+. \]

• 若 \(m_{jj} < \infty\)，则称 \(j\) 为正常返；
• 若 \(m_{jj} = \infty\)，则称 \(j\) 为零常返.

---

Proposition 2.1.6 设 \(j\) 为常返状态，且 \(j\) 可达 \(k\)，则 \(f_{kj} = 1\).

证明. 反证法. 设 \(f_{kj} < 1\). 令

\[e_{jk}(n) = \mathbb{P}_j(X_n = k,\ X_m \neq j,\ 1 \leq m < n). \]

表示从 \(j\) 出发，中间不回到 \(j\)，最终到达 \(k\). 得

\[\mathbb{P}_j(\tau_j^+ = \infty) \geqslant \mathbb{P}_j(X_n = k,\ X_m \neq j,\ 1 \leq m < n,\ X_\ell \neq j,\ \ell > n) = e_{jk}(n)(1 - f_{kj}) > 0. \]

这与 \(j\) 为常返状态矛盾.

Lemma 2.1.7 \(\forall i,j \in S, n \ge 1\)，

\[P_{ij}(n) = \sum_{m=1}^{n} f_{ij}(m) P_{jj}(n-m). \]

Proof.

\[\begin{aligned} P_{ij}(n) &= P_i(X_n = j) \\ &= \sum_{m=1}^{n} P_i(X_n = j, \tau_j^+ = m) \\ &= \sum_{m=1}^{n} P_i(\tau_j^+ = m) P_i (X_n = j \mid \tau_j^+ = m) \\ &= \sum_{m=1}^{n} P_i(\tau_j^+ = m) P (X_n = j \mid \tau_j^+ = m, X_0=i) \\ &= \sum_{m=1}^{n} P_i(\tau_j^+ = m) P_j(X_{n-m} = j) \quad \text{（马氏性）} \\ &= \sum_{m=1}^{n} f_{ij}(m) P_{jj}(n-m). \end{aligned} \]

---

Theorem 2.1.8 状态 \(i\) 常返 \(\iff \sum_{n=1}^{\infty} P_{ii}(n) = +\infty\)；
状态 \(i\) 非常返 \(\iff \sum_{n=1}^{\infty} P_{ii}(n) < +\infty\)，且

\[\sum_{n=1}^{\infty} P_{ii}(n) = \frac{f_{ii}}{1 - f_{ii}}. \]

Proof. 由 Lemma 2.1.7，

\[\begin{aligned} \sum_{n=1}^{N} P_{ii}(n) &= \sum_{n=1}^{N} \sum_{m=1}^{n} f_{ii}(m) P_{ii}(n-m) \\ &= \sum_{m=1}^{N} f_{ii}(m) \sum_{n=m}^{N} P_{ii}(n-m) \\ &= \sum_{m=1}^{N} f_{ii}(m) \sum_{k=0}^{N-m} P_{ii}(k) \\ &= \sum_{m=1}^{\infty} I_{[m \le N]} f_{ii}(m) \sum_{k=0}^{N-m} P_{ii}(k) \end{aligned} \]

令 \(N \to \infty\)，由单调收敛定理，

\[\sum_{n=1}^{\infty} P_{ii}(n) = \sum_{m=1}^{\infty} f_{ii}(m) \sum_{k=0}^{\infty} P_{ii}(k) = f_{ii} \left( 1 + \sum_{n=1}^{\infty} P_{ii}(n) \right). \]

移项得：

• 若 \(f_{ii} < 1\)，则
  \[\sum_{n=1}^{\infty} P_{ii}(n) = \frac{f_{ii}}{1 - f_{ii}} < \infty. \]

• 若 \(f_{ii} = 1\)，则上式要求 \(\sum_{n=1}^{\infty} P_{ii}(n) = \infty\).

因此常返 \(\iff \sum P_{ii}(n) = \infty\)，非常返时和为 \(\frac{f_{ii}}{1-f_{ii}}\).

---

Corollary 2.1.9 对不可约 Markov 链，所有状态同时常返（或同时非常返）.

Proof. 对任意 \(i, j \in S\)，由于不可约，存在 \(n, m \ge 1\) 使得

\[P_{ij}(n) > 0, \quad P_{ji}(m) > 0. \]

由 CK 方程，

\[P_{ii}(k + n + m) \ge P_{ij}(n) P_{jj}(k) P_{ji}(m). \]

若 \(j\) 常返，则 \(\sum_{k=1}^{\infty} P_{jj}(k) = \infty\)，从而

\[\sum_{k=1}^{\infty} P_{ii}(k + n + m) = \infty, \]

故 \(\sum_{k=1}^{\infty} P_{ii}(k) = \infty\)，即 \(i\) 也常返.
反之亦然. 因此所有状态同时常返或非常返.

Thm 2.1.10 设状态 \(j\) 非常返，则 \(\forall i \in S\)，

\[\lim_{n \to \infty} P_{ij}(n) = 0. \]

证明.

1. 若 \(i = j\)，则 \(j\) 非常返 \(\Leftrightarrow \sum_{n=1}^{\infty} P_{jj}(n) < +\infty\) \(\Rightarrow\) \(\lim_{n \to \infty} P_{jj}(n) = 0\).

2. 若 \(i \neq j\)，则由 Lemma 2.1.7，

   \[P_{ij}(n) = \sum_{m=1}^{n} f_{ij}(m) P_{jj}(n-m). \]

   将求和分成两部分：

   \[P_{ij}(n) = \left( \sum_{m=1}^{\lfloor n/2 \rfloor} + \sum_{m=\lfloor n/2 \rfloor+1}^{n} \right) f_{ij}(m) P_{jj}(n-m) = I + II. \]

   对于 \(I\)：由于 \(\lim_{k \to \infty} P_{jj}(k) = 0\)，故 \(\forall \varepsilon > 0\)，\(\exists N\)，使得 \(\forall k > N\)，\(P_{jj}(k) < \varepsilon\). 在 \(I\) 中，\(1 \leq m \leq \lfloor n/2 \rfloor\)，则 \(n - m \geq n/2\)，取 \(n > 2N\)，则 \(P_{jj}(n-m) < \varepsilon\)，于是

   \[I \leqslant \varepsilon \sum_{m=1}^{\infty} f_{ij}(m) \leqslant \varepsilon f_{ij} \leqslant \varepsilon. \]

   对于 \(II\)：

   \[II \leqslant \sum_{m=\lfloor n/2 \rfloor+1}^{\infty} f_{ij}(m) \xrightarrow{n \to \infty} 0, \]

   因为 \(\sum_{m=1}^{\infty} f_{ij}(m) = f_{ij} \leqslant 1\).

   综上，\(\lim_{n \to \infty} P_{ij}(n) = 0\).