自适应滤波:随机过程基础

作者:桂。

时间:2017-03-09  21:15:34

链接:http://www.cnblogs.com/xingshansi/p/6527961.html 


 【读书笔记01】

前言

这几天打算学一学滤波器的相关原理,看的书籍是西蒙.赫金的《自适应滤波器原理》第四版,记录的内容为自己的学习总结,本文主要分为以下四部分:

  1)随机过程、确定过程

  2)均值、方差、分布函数与概率密度

  3)不相关与独立性

  4)平稳性与遍历性

内容中不当的地方,还麻烦各位给以指正,内容多有参考他人,对应的链接在文章最后一并给出。

一、随机过程与确定过程

对于一个火车,下一时刻的轨迹已经由铁轨确定了;而对于一个行人,下一刻的落脚点却有各种可能。

简单来说,下一时刻确定的,是确定过程;不确定的,是随机过程。下一刻所有可能,组成了随机变量,即随机变量是各种可能的集合

给一张示意图:

信号x是一个随机分布,下一刻的值有各种可能;而信号y是一个确定过程,下一刻的值由$y = sin(t)$唯一确定。

既然有各种可能,为什么还要研究随机过程呢?再来一个示意图:

将随机信号x进行直方图统计,通过曲线拟合可以看到:x对应的每一时刻的值都服从正态分布,我们或许可以说:下一时刻,信号x取3的概率大于x取9的概率。由此我们可以相信:对于随机的数据,直方图统计也会包含有价值的信息,so~继续研究它。

 

二、常用基本概念(针对随机变量描述)

  A-均值

给出均值的定义式:

$E[x(t)] = \int_{\; - \infty }^{\; + \infty } {x{f_X}(x\;;t)} dx$

即对于给定时刻t,假设所有的可能都给定了,我们不需要像上一张图那样,需要对不同时刻t进行统计,而是直接对t时刻所有可能值统计,得到分布直方图。利用分布的密度函数,从而实现均值的估计。

现实情况是:我们无法得到同一时刻的所有可能,怎么解决这个尴尬?接着往下看。

  B-方差

假设$\mu (t)$是t时刻的均值,则对应的方差定义为:

$D[x(t)] = \int_{\; - \infty }^{\; + \infty } {{{(x - \mu (t))}^2}{f_X}(x\;;t)} dx$

求解同均值类似,尴尬也是。方差体现了数据围绕期望值的分散情况,真是求之不得,辗转反侧,难怪均值叫期望

知道均值方差,并不能唯一确定分布(正态是可以的),还需要一些辅助特性来评定统计的分布特性:

  • 偏度(Skew)

 

skew衡量分布的偏斜状况。详细参考:维基百科

  • 峰度(Kurtosis)

kurtosis衡量分布陡峭状况。详细参考:维基百科

  C-分布函数与概率密度

直接对t时刻所有可能值统计,得到分布直方图,直方图面积归一化,对应的曲线就是概率密度$f(x;t)$,$f(x;t)$关于x的积分就是分布函数$F(x;t)$。

 

三、不相关与独立性

给一个示意图:

信号A、B、C、D是四个不同的随机信号:

    • 当信号A增加时,信号B也在增加,A、B的变化趋势完全一致,可以说A与B正相关;
    • 当信号A增加时,信号C在减小,A、C的变化趋势完全相反,可以说A与B负相关;
    • 当信号A增加时,信号D可能增加,也可能减小,A、D的变化趋势似乎无关,可以说A与B不相关;

给出协方差定义式:

关于相关的细节讨论,可以参考知乎的答案

相关矩阵虽然体现了相关性,但协方差数值变化时大时小,因此考虑将其归一化(去均值、除均方差):

从定义式也可以观察:此处的相关是线性相关,而不是一般意义的相关。因此即使不相关,也不过是线性不相关罢了,说的简单点:A、B两信号不相关,则A的取值变化,不对B的取值产生影响。事实上,A-B-C-D四个信号,是

举个反例:$X$在[-1, 1]上均匀分布,$Y = X^2$,

$Cov(X,Y) = E(X,Y)-E(X)E(Y) = E(X^3) = 0$,即X与Y不相关,可见所谓的相关与否仅仅针对线性,但很明显他们是二次相关,故二者不独立。 

给出相关系数为0.9的两个变量的各自曲线,以及联合分布:

下图从左到右均为联合分布,A、B的相关系数分别为:0.9,-0.9,0,可以看到,以均值为中心,他们对应的正/负/无 线性关系。

对应的协方差矩阵分别为:${S_1} = \left[ {1,0.9;0.9,1} \right]$, ${S_2} = \left[ {1, - 0.9; - 0.9,1} \right]$, ${S_3} = \left[ {1,0;0,1} \right]$,协方差矩阵的重要性也就不言而喻了。

 

四、平稳性与遍历性

先来一张图:

  

对于图中数据,我们不会认为:右边数据服从左边的分布,我们更倾向认为:右图前段数据服从一个分布,后段数据服从一个分布。可以理解为:该信号为非平稳,或者说:短时平稳

平稳性:就是时间序列统计特性于时间平移的不变性。

翻译一下上面这句话:对于$t_0$时刻,所有可能对应集合Set0,对于$t_1$时刻,所有可能对应集合Set1,...,不同时刻的集合,其统计特性一致。

为什么关于时间需要统计特性不变呢?因为随机变量,取任何值都不确定,只能基于大数据的统计特性进行描述,而如果该时刻或者历史时间段的统计信息,对下一时刻没有任何的借鉴意义,即:统计特性只对统计数据自身成立,统计的意义又在哪里呢?

  A-平稳

严平稳需要统计性质关于之间严格不变,给出定义:

对于所有可能的n,所有可能的$t_1,t_2, ... t_n$和所有可能的k, 当$Z_{t1},...Z_{tn}$和$Z_{t1-k},...Z_{tn-k}$相同时,我们称其为严平稳.

基于两点,我们通常不用该特性:

  • 不同时刻,一阶矩、二阶矩...N阶矩,完全一致,则该过程为严平稳,计算量太大,甚至没有终止;
  • 常用的统计特性是均值、协方差矩阵,这个只涉及二阶矩,满足通常的需求;

这也是为什么宽/弱平稳,是均值、方差的一致性,而不必三阶矩、四阶矩一致的原因之一。

  B-弱/宽平稳

 上面已经略有提及,在此给出宽平稳的特性:

  • 期望不随时间变化,是常数;
  • 协方差函数仅与时间差有关,与时间的具体时刻无关

我们称这样的过程为宽平稳随机过程。

为什么这么定义?举个例子:

设序列{$X_1, X_2, X_3...$},是互不相关的随机变量序列,且都~N(0,${\sigma ^2}$),则

这就是一个宽平稳的例子,其实第二个特性就是对二阶矩的限定。

啰嗦一句

  • 分布一致,则矩一定一致,故严平稳一定是宽平稳(错,因为矩可能不存在,存在时则一定是)。
  • 联合分布服从多元正态分布时,二者等价,因为二阶矩已经完全可以确定正态分布

  C-遍历性

 遍历性,即各态历经性,真是顾名思义。还记得上文的尴尬么?一个时刻的所有可能,现实中天知道会是什么?

除非这样:

数量足够多的机器,假设10万台,性能完全一致,同时刻工作,同时刻停止,将这样一个小的时间段认为一个时间点,然后统计机器损坏的数量M,

故障率为 = M/100000;

这样基于大样本的统计特性,近似可以看作其分布特性,但这里有两个困难:

1)性能完全一致,这个本身就做不到;2)现实中,很难有同一时刻,样本集合几乎遍历的情况;

 能不能折中一下呢?假设一段时间内,所有可能的集合元素,都发生了(即遍历),利用时间统计特性,近似等价。嗯,用时间换空间,是个不错的主意

遍历性对于时间序列的意义,类似于大数定理对于一般随机变量的意义。

首先回顾一下:对于一个时间序列{$X_t,t = 1,2,...$},样本均值如何定义:

$\mu  = \frac{1}{T}\sum\limits_{t = 1}^T {{x_t}} $          

(Eq-1)

其中$x_t$为时间序列$X_t$的一条路径,不妨设为某个股票的日收益率。

样本自相关函数、样本自相关系数等等,类似。

即:实际应用中,用样本的时间均值,代替集合的统计均值,即对于某个时刻的所有可能,我们认为这些可能在一段时间内,会全部出现,这就是遍历性,也叫各态历经性

回顾大数定律:

(Eq-2)

Eq-1是时间取均值,Eq-2是空间取均值。可以说,随机过程遍历性假设若不成立,应用中的统计总是管中窥豹,就像调研中的小样本,得出的结论看似严谨,实则荒谬。

 

参考:

平稳性、遍历性:https://www.zhihu.com/question/21982358

posted @ 2017-03-09 23:17 桂。 阅读(...) 评论(...) 编辑 收藏