线性高斯假设是一种非常严格的约束条件，而在大多数模型设定下，这种假设并不满足。这部分我们在线性状态空间模型的量测方程中引入一种混合正态分布，由此量测误差不再服从简单的高斯正态分布，而是一些简单正态分布的组合。
论文链接：https://drive.google.com/file/d/1kI3SGoRf_o-yVtlJP_srXjoVbANqzV_m/view?usp=sharing
混合正态分布下的模型结构
与线性高斯模型相比较，尽管只有一个假设发生变化，但为方便起见我们再次给出模型方程表示。
转移方程表示为：
\[\mathbf{x}_{t}=\Gamma \mathbf{x}_{t-1}+\alpha+\mathbf{v}_{t}
\]
量测方程表示为：
\[\mathbf{y}_{t}=H \mathbf{x}_{t}+\mathbf{u}_{t}
\]
\[\mathbf{u}_{t} \sim i . i . d . \sum_{b=1}^{B} \omega_{b} \mathcal{N}\left(\mu_{b}, Q_{b}\right) \quad \text { 且 } \quad \sum_{b=1}^{B} \omega_{b}=1
\]
\(\mathbf u_{t}\)的分布为：
\[p\left(\mathbf{u}_{t}\right)=\sum_{b=1}^{B} \omega_{b} \phi\left(\mathbf{u}_{t} ; \mu_{b}, Q_{b}\right)
\]
where \(\phi(x ; \mu, \Omega)\) 表示 \(\mathcal{N}(\mu, \Omega)\)在 \(x\) 处的密度函数值。
对 \(u_t\) 的前两阶矩，我们有相应期望 (均值)和方差协方差矩阵：
\[E\left(\mathbf{u}_{t}\right)=\sum_{b=1}^{B} \omega_{b} \mu_{b}=: \mu, \quad \operatorname{Var}\left(\mathbf{u}_{t}\right)=\sum_{b=1}^{B} \omega_{b}\left(Q_{b}+\mu_{b} \mu_{b}^{\prime}\right)=: Q
\]
假设转移新生向量\(\mathbf{v}_{t} \sim i i d \mathcal{N}(0, R)\)，且满足\(Cov(\mathbf{u_{t}},\mathbf{v_{t}})=0\)
在时间上，上述状态空间模型中混合过程可由一个隐马尔可夫指示过程控制。
令 \(I_t\) 表示为一个独立同分布的离散随机变量，分别以概率 \(\omega_1,\cdots,\omega_B\) 取 \(\mathcal{B} = \{1, . . . , B\}\) 间所有可能值，即
\[\operatorname{Pr}\left(I_{t}=b\right)=\omega_{b}, \quad b=1, \ldots, B
\]
\(\mathcal{I}_{t}=\left\{I_{1}, \ldots, I_{t}\right\}\)为一组指示变量的实现值，\(\mathcal{B}_{t}:=\mathcal{B}^{t}\)。因此利用 \(I_t\)，我们可以给出 \(\mathbf{u_t}\) 演变的另一种表示，如下：
\[\mathbf{u}_{t} \mid I_{t}=b \sim \mathcal{N}\left(\mu_{b}, Q_{b}\right), \quad b=1, \ldots, B
\]
显然，基于 \(I_t\)，新生 \(\mathbf{u_t}\) 的分布是确定的。
确切滤波
由于 \(p(y_{t}|x_{t})\) 是非高斯的，为 B 个正态分布的混合，直接评价该量测密度是不可取的。但对此混合模型，其确切密度在理论上仍然可以通过迭代产生，而且它们也是混合正态的，并且因子个数随时间指数递增。
令\(a_{t \mid t-1}, \hat{\mathbf{y}}_{t \mid t-1}\) 和 \(a_{t \mid t}\)分别表示条件密度 \(p\left(\mathbf{x}_{t} \mid \mathcal{Y}_{t-1}\right), p\left(\mathbf{y}_{t} \mid \mathcal{Y}_{t-1}\right)\) 和 \(p\left(\mathbf{x}_{t} \mid \mathcal{Y}_{t}\right)\) 。\(\Sigma_{t \mid t-1}, F_{t \mid t-1}\) 和 \(\Sigma_{t \mid t}\)分别表示对应的方差协方差矩阵。
确切预测和滤子密度
定理(混合模型的预测密度). \(\quad\) 令\(t-1, t=1,2, \ldots, T\)时刻滤子密度由含有个因子的一个高斯混合给出，
\[p\left(\mathbf{x}_{t-1} \mid \mathcal{Y}_{t-1}\right)=\sum_{i=1}^{l_{t-1}} \omega_{i, t-1 \mid t-1} \phi\left(\mathbf{x}_{t-1} ; a_{i, t-1 \mid t-1}, \Sigma_{i, t-1 \mid t-1}\right)
\]
于是状态的一步向前预测密度 (one-step-prediction density) 为:
\[p\left(\mathbf{x}_{t} \mid \mathcal{Y}_{t-1}\right)=\sum_{i=1}^{l_{t-1}} \omega_{i, t-1 \mid t-1} \phi\left(\mathbf{x}_{t} ; a_{i, t \mid t-1}, \Sigma_{i, t \mid t-1}\right)
\]
where
\[ \begin{aligned}
a_{i, t \mid t-1} &=\Gamma a_{i, t-1 \mid t-1}+\alpha \\
\Sigma_{i, t \mid t-1} &=\Gamma \Sigma_{i, t-1 \mid t-1} \Gamma^{\prime}+R
\end{aligned} \]
观测向量的一步向前预测密度为:
\[p\left(\mathbf{y}_{t} \mid \mathcal{Y}_{t-1}\right)=\sum_{b=1}^{B} \sum_{i=1}^{l_{t-1}} \omega_{b i, t \mid t-1} \phi\left(\mathbf{y}_{t} ; \hat{\mathbf{y}}_{b i, t \mid t-1}, F_{b i, t \mid t-1}\right)
\]
where
\[ \begin{array}{l}
\omega_{b i, t \mid t-1}=\omega_{b} \omega_{i, t-1 \mid t-1} \\
\hat{\mathbf{y}}_{b i, t \mid t-1}=H a_{i, t \mid t-1}+\mu_{b} \\
F_{b i, t \mid t-1}=H \Sigma_{i, t \mid t-1} H^{\prime}+Q_{b}
\end{array} \]
