Efficient Large-Scale Stereo Matching论文解析

Efficient Large-Scale Stereo Matching 解析

@(sinbad)[360sinbad@gmail.com]
这是一篇2010年ACCV的立体匹配方面的论文，该文提出的算法主要用于在双目立体视觉中进行快速高清晰度图像匹配。算法基本思想为：通过计算一些支持点组成稀疏视差图，对这些支持点在图像坐标空间进行三角剖分，构建视差的先验值。由于支持点可被精确匹配，避免了使用其余点进行匹配造成的匹配模糊。进而可以通过有效利用视差搜索空间，重建精确的稠密视差图，而不必进行全局优化。算法分为以下几个部分：

1.匹配支持点

-首先确定支持点匹配的特征描述算子，文中采用简单的9X9尺寸的sobel滤波并连结周围像素窗口的sobel值组成特征。

特征算子维度为1+11+5=17，作者有提到使用更复杂的surf特征对提高匹配的精度并无益处，反而使得速度更慢。
匹配方法为L1向量距离，并进行从左到右及从右到左两次匹配。为防止多个匹配点歧义，剔除最大匹配点与次匹配点匹配得分比超过一定阀值的点。另外则是增加图像角点作为支持点，角点视差取其最近邻点的值。

2.立体匹配生成模型

这里所谓的生成模型，简单来讲就是基于上面确定的支持点集，也可以扩展一些角点，再对这些支持点集进行三角剖分，形成多个三角形区域。在每个三角形内基于三个已知顶点的 精确 视差值进行MAP最大后验估计插值该三角区域内的其他点视差。假设观察组和支持点的视差 是条件独立的，其联合分布为：

其中利用支持点构建的作为先验值。作为图像似然，目标为求解取值概率最高的似然估计问题。
对于先验值的构建作者将其假设为一种高斯分布
（1）

其中，表示为分段线性函数，由之前支持点三角剖分后的平面与支持点的视差值插值得到。


已知三角形三个支持点的坐标与视差值，求解上述方程可以使用高斯消元法。
似然函数表示为Laplace分布。
（2）
分别为左右图特征向量，特征依然选用sobel滤波采样组成2X5X5=50维的特征向量。

3.视差估计

视差估计依赖最大后验估计（MAP）来计算其余观察点的视差值。

由（1）（2）式取-log可得
（3）
对于公式（3）我看程序时发现作者用的公式是

，其中作为条件来判断是否对周围一定范围内像素进行能量值最小化计算，最后选取能量最小时的 d值作为该点视差值。

4.提纯

后面主要是对E(d)进行条件约束，如 等约束处理。
-- 实验中间结果：

较正图对：

ELAS 视差图

滤波平滑后