OpenCV畸变校正原理以及损失有效像素原理分析

上一篇博客简要介绍了一下常用的张正友标定法的流程,其中获取了摄像机的内参矩阵K,和畸变系数D。

1.在普通相机cv模型中,畸变系数主要有下面几个:(k1; k2; p1; p2[; k3[; k4; k5; k6]] ,其中最常用的是前面四个,k1,k2为径向畸变系数,p1,p2为切向畸变系数。

2.在fisheye模型中,畸变系数主要有下面几个(k1,k2,k3,k4).

 

因为cv和fisheye的镜头畸变模型不一样,所以畸变系数也会有所不同,具体在畸变校正时的公式也不同,具体公式请参见opencv2.0和3.0的官方文档。OpenCV中对畸变图像进行畸变校正主要用的函数有UndistortImage()函数,以及initUndistortRectifyMap()结合remap()函数。其实UndistortImage()就是initUndistortRectifyMap()和remap()的简单组合,效果是一样的。

 

但是有一点是:当你有很多畸变图像需要较正时,用UndistortImage()函数的缺点就暴露了。因为畸变坐标映射矩阵mapx和mapy只需要计算一次就足够了,而重复调用UndistortImage()只会重复计算mapx和mapy,严重影响程序效率。因此当有多张图片要畸变校正时,建议使用一次initUndistortRectifyMap(),获取畸变坐标映射矩阵mapx和mapy后,作为remap函数的输入,多次调用remap函数进行畸变校正。

 

今天要说的第二点就是做过畸变校正的同学都知道,畸变校正后的图像会损失很多像素,这是为什么呢?接下来就以常见的桶形畸变为例分析一下:由于我目前手头的相机畸变程度并不明显(之前用广角镜头的时候畸变程度相当明显)。因此就从网上找一些图片作为例子以便说明,这里引用一下图片来源

http://www.developersite.org/904-45591-%E6%A0%87%E5%AE%9A。

畸变原图如下:

 

畸变校正后的图如下:

 

相信大家已经可以看到了,由于桶形畸变的特征是,远离图像中心的地方成像放大率小,因此越远离图像中心的位置畸程度越明显,像点越向内移动。畸变校正后,原本挤在一起的像素点们被校正到原来的位置,就得到上面的图像。同时由于四周的像素被拉伸,会造成四周出现模糊的情况。

得到上述图像后很自然想到的是把四周的黑色区域裁掉,只留下中间的图像区域。如下图(红色框):

 

那么问题来了,这样做的话输出图像的长宽比和输入图像的长宽比就不一致了。因此opencv畸变校正函数内部做法是:在保证长宽比不变的情况下,对上面的图像取中间的ROI区域出来,类似进行“裁剪”操作,那么就会得到损失更多像素的输出图像啦,如下图(蓝色框)!

好了,说到这里,我们就把代码中的罪魁祸首找出来吧!先看一下initUndistortRectifyMap()函数的原型,如下图左,默认情况下,我们通常不会求取新的CameraMatrix,这样代码中会默认使用标定得到的CameraMatrix。而这个摄像机矩阵是在理想情况下没有考虑畸变得到的,所以并不准确,重要的是fx和fy的值会比考虑畸变情况下的偏大,会损失很多有效像素。我们可以通过这个函数getOptimalNewCameraMatrix ()求取一个新的摄像机内参矩阵,函数原型如下图右,注意函数上面的备注” Return the new camera matrix based on the free scaling parameter“,通过这个函数可以自行调整缩放比例。

       

 

 

在getOptimalNewCameraMatrix ()函数中,其中的一个输入参数为alpha∈(0,1),alpha的意义见上图,调节alpha的值能够控制得到的新矩阵中的fx和fy的大小,当alpha=1的时候,原图像中的所有像素能够得到保留,也就出现了上面校正后图像中的那些黑色的空洞区域。【注:cv模型中为alpha,fisheye模型中为balance,意义是一样的】

那么alpha是怎么样改变 f 值的,主要是getOptimalNewCameraMatrix ()中又调用了一个函数undistortPoints(),这个函数会在畸变图像中选取上下左右四个点进行畸变校正,具体请看源码。下面图片中我圈出的代码就在这个函数里面,里面具体的f1,f2,f3,f4的意思就与取的上下左右四个点有关,可以去看源代码,当然不明白了也可以问我。总之是在fmin和fmax之间进行插值计算 f,而通常balance(alpha)默认为0,f=fmax,焦距越大,视场越小,损失的有效像素越多。

 

好了,夜已深,今天就到这里。

 

--------------------------------- 业精于勤而荒于嬉 行成于思而毁于随 ---------------------------------
posted @ 2017-04-14 22:37  一度逍遥  阅读(43414)  评论(15编辑  收藏  举报