21/8/29 读书笔记 马尔可夫链

21/8/29 读书笔记

目录

• 21/8/29 读书笔记
  • 程序员的数学2
    • 马尔可夫链

程序员的数学2

马尔可夫链

对于一个随机过程，如果其未来状态仅由当前状态决定，而与历史状态无关，那么该随机过程是一个马尔可夫过程。

如果一个马尔可夫过程的状态的取值范围有限或无限可数，则称其为马尔可夫链。

之前介绍的随机游走、卡尔曼滤波器都属于马尔可夫过程。

由转移概率\(p_{i\leftarrow j}=P(X_{t+1}=i|X_t=j)\)构成的方阵称为转移概率矩阵\(P\)。

对于每个时间点\(t\)所对应的状态\(X_t\)，其被描述为一个所有可能取值的概率分布，并以列向量形式表示：

\[\boldsymbol{u}_{t} \equiv\left(\begin{array}{c} \mathrm{P}\left(X_{t}=1\right) \\ \vdots \\ \mathrm{P}\left(X_{t}=n\right) \end{array}\right) \]

对于转移概率矩阵\(P\)，该向量具有以下性质：

\[\boldsymbol{u}_{t+1}=P \boldsymbol{u}_{t} \]

当我们认为\(X\)仅有三种取值时，这一结果也体现了这一性质。

\[\begin{aligned} P u_{t} &=\left(\begin{array}{lll} p_{1 \leftarrow 1} & p_{1 \leftarrow 2} & p_{1 \leftarrow 3} \\ p_{2 \leftarrow 1} & p_{2 \leftarrow 2} & p_{2 \leftarrow 3} \\ p_{3 \leftarrow 1} & p_{3 \leftarrow 2} & p_{3 \leftarrow 3} \end{array}\right)\left(\begin{array}{c} \mathrm{P}\left(X_{t}=1\right) \\ \mathrm{P}\left(X_{t}=2\right) \\ \mathrm{P}\left(X_{t}=3\right) \end{array}\right) \\ &=\left(\begin{array}{l} p_{1 \leftarrow 1} \mathrm{P}\left(X_{t}=1\right)+p_{1 \leftarrow 2} \mathrm{P}\left(X_{t}=2\right)+p_{1 \leftarrow 3} \mathrm{P}\left(X_{t}=3\right) \\ p_{2 \leftarrow 1} \mathrm{P}\left(X_{t}=1\right)+p_{2 \leftarrow 2} \mathrm{P}\left(X_{t}=2\right)+p_{2 \leftarrow 3} \mathrm{P}\left(X_{t}=3\right) \\ p_{3 \leftarrow 1} \mathrm{P}\left(X_{t}=1\right)+p_{3 \leftarrow 2} \mathrm{P}\left(X_{t}=2\right)+p_{3 \leftarrow 3} \mathrm{P}\left(X_{t}=3\right) \end{array}\right)=\left(\begin{array}{c} \mathrm{P}\left(X_{t+1}=1\right) \\ \mathrm{P}\left(X_{t+1}=2\right) \\ \mathrm{P}\left(X_{t+1}=3\right) \end{array}\right) \end{aligned} \]

因此，对于一个马尔可夫链，所有的分布都是由初始分布和转移概率矩阵\(P\)​决定的。

初始分布：假设状态空间\(S=\{A,B,C\}\)，当我们只从一个状态A出发，此时初始状态下\(P(X_0=A)=1,P(X_0=B)=P(X_0=C)=0\)​；而我们其实可以“有概率地”从多个状态选择出发，从而使得初始分布呈现出一般分布的形式。

条件分布的表现形式：对于\(P(X_{t+1}=A|X_{t}=B)\)​​来说，其等价于从状态分布\(\bold u_t=(0,1,0)^T\)​​​出发后状态转变为A的概率，由此借由马尔科夫过程的特性将条件分布转变为联合分布。

平稳分布\(\bold u_t\)​满足\(P\bold u_t=\bold u_t\)，这使得该状态在状态转移过程中始终不变。

对于很多的转移概率矩阵\(P\)​，无论初始分布\(\bold u_0\)​如何，经过一定的时间\(t\)​​后，都会收敛于一个平稳分布，我们将这个平稳分布称为\(P\)的极限分布。极限分布是一个非常有意思的分布形式，我们可以从两个视角观察：

• 从观测者的角度来看，我们经历无限长的时间并持续进行观测，我们观测的状态中各个状态值的占比如下：

  \[\lim_{t\rightarrow \infty}\frac{X_1,...,X_t中状态值i的个数}{t} \]

• 从上帝视角看，极限分布是一个确定的可推导出来的概率分布\(\bold u\)，其描述了各个状态值的相应概率\(u_i\)：

  \[\bold u\equiv(u_1,...,u_i,...u_n)^T \]

由于最终状态分布收敛于极限分布，因此我们可以认为从无限的时间角度看，状态值的被观测到的概率应该等于其极限分布中对应的概率，即：

\[\lim_{t\rightarrow \infty}\frac{X_1,...,X_t中状态值i的个数}{t}=u_i \]

我们强调收敛到一个平稳分布，因为有时会存在多个平稳分布，比如状态空间被划分为多个互不连通的分区，每个分区可能都有一个平稳分布，此时初始分布决定了最后逼近于哪个平稳分布。

马尔可夫链无需使用历史数据，而只需要考虑一次状态转移，因此能够简化很多的计算问题。

隐马尔可夫模型HMM具有以下特征：

• 我们试图了解关于马尔可夫链\(X_t\)的信息
• 但是我们无法直接观测\(X_t\)，只能观测到\(Y_t\)

之前介绍的卡尔曼滤波器就相当于一个连续值的HMM，我们只能观测到带噪声的\(Y\)而试图获取关于\(X\)的信息。卡尔曼滤波器中\(Y\)有\(X\)是始终相关的，但是HMM并不强制要求这一点，\(Y\)以一定概率与\(X\)​​相关即可。