MP 及OMP算法解析

转载自http://blog.csdn.net/pi9nc/article/details/18655239

1,MP算法【盗用2】

MP算法是一种贪心算法(greedy),每次迭代选取与当前样本残差最接近的原子,直至残差满足一定条件。 

求解方法

选择最接近残差的原子:MP里定义用向量内积原子与残差的距离,我们用R表示残差,di表示原子,则:

Max[Dist(R,di)]=max[<R,di>];

残差更新:R=R-<R,di>I;继续选择下一个,直至收敛; 

需要注意的是,MP算法中要求字典原子||di||=1,上面的公式才成立。

我们用二维空间上的向量来表示,用如下的图来表述上面的过程:

 

上图中d1,d2,d3表示归一化的原子,红色向量r表示当前残差;

进过内积计算,<r,d3>最大,于是r分解为d3方向以及垂直于d3方向的两个向量(<r,d3>d3及r-<r,d3>d3),把d3方向的分量(<r,d3>d3)加入到已经求得的重构项中,那么绿色向量(r-<r,d3>d3)变为新的残差。然后迭代即可。

再一轮迭代得到如下:

 

R往d1方向投影分解,绿色向量成为新的残差。 

具体算法: 

 

收敛性

从上面的向量图我们可以清楚地看出,k+1的残差Rk+1是k步残差Rk的分量。根据直角三角形斜边大于直角边,|Rk+1|<=|Rk|,则算法收敛。 

注意事项:

1.上面也讲过,字典的原子是归一化的,也就是||di||=1,因为我们选取max<R,di>时,如果di长度不统一,不能得出最好的投影。

2.如果我们的字典只有两个向量d1,d2,那么MP算法会在这两个向量间交叉迭代投影,也就是f=a1d1+a2d2+a3d1+a4d2+…..;也就是之前投影过的原子方向,之后还有可能投影(即原子有可能再次被选择)。换句话说,MP的方向选择不是最优的,是次优的。

如下图:

这也是其改进版本OMP要改进的地方。

2,什么是OMP算法

OMP算法的改进之处在于:在分解的每一步对所选择的全部原子进行正交化处理,这使得在精度要求相同的情况下,OMP算法的收敛速度更快。

在正交匹配追踪OMP中,残差是总与已经选择过的原子正交的。这意味着一个原子不会被选择两次,结果会在有限的几步收敛。另外还可以选择弱匹配追踪(后话)【3】。

MP算法的次最优性来源其残差只与当前投影方向垂直,这样在接下来的投影中,很有可能会再次投影到原来的方向。

于是,在投影时,如果我们使得残差Rk+1与x1-xk+1的所有向量垂直,则可以克服这个问题,如下: 

  

求解方法

假设我们已经得到了第k步的最优解:

 

我们要继续更新到第k+1步,目标是得到:

 

需要注意的是,我们下一步更新时,之前原子的系数 也要更新,否则不能满足约束。

于是我们需要求得如何更新之前原子系数 ,以及如何求得下一个投影方向 。 

 

收敛性:

同样根据勾股定理,得到如下:

 于是算法收敛。 

具体步骤:

最后,贴一个sparse求解的工具包,里面包含了MP,OMP算法的代码

http://spams-devel.gforge.inria.fr/

 

参考文献

【1】http://blog.csdn.net/scucj/article/details/7467955   MP和OMP算法及其思想

【2】http://blog.csdn.net/pi9nc/article/details/18655239  稀疏编码最优化解法

【3】https://chunqiu.blog.ustc.edu.cn/?p=634  有讲到弱匹配追踪

 

posted on 2018-11-28 09:54 Sanny.Liu-CV&&ML 阅读(...) 评论(...) 编辑 收藏

导航

统计