SFS简介（明暗恢复形状）

从明暗恢复形状 ( shape from shading, 简称SFS)是计算机视觉中三维形状恢复(3D shape recovery)问题的关键技术之一, 其任务是利用单幅图象中物体表面的明暗变化来恢复其表面各点的相对高度或表面法方向等参数值, 为进一步对物体进行三维重构奠定基础。

        在人类视觉感知过程中，阴影发挥着重要作用。人类通过眼睛和大脑能够准确地由阴影恢复出三维信息。多年来，人类视觉研究工作者们一直尝试着理解和模拟这一机理。

        19世纪70年代早期，Horn首先提出了根据单幅图像恢复物体形状(Sh即eformShading)的问题。对实际图像而言，其表面点图像亮度受到了许多因素，如光源、物体表面材料性质和形状以及摄像机(或观察者)位置和参数等的影响。为简化问题，传统 SFS 方法均进行了如下假设:

    (1)光源为无限远处点光源;       

     (2)反射模型为朗伯体表面反射模型(Lambertian Surface Model) ;

    (3)成象几何关系为正交投影, 这样物体表面点图象亮度 E 仅由该点光源入射角θ_i的余弦决定, 即 E = cosθ_i

如果不引入附加约束， 仅由光照模型所确定的SFS问题是病态的( 没有唯一解) 。 因此为消除其病态性， 并建立相应的正则化模型， 必须对其表面形状进行约束。 现有的SFS算法基本上是假设所研究的对象均为表面光滑的物体， 即认为物体表面高度函数是连续的。

实际上，通过建立物体的光滑表面模型，已经对物体表面形状进行了约束。这样，将上述物体表面反射模型与物体的光滑表面模型相结合，再利用一些己知条件(如关于物体表面形状的初始边值条件)，就构成了SFS问题的正则化模型。根据建立正则化模型方式的不同,SFS 方法分为：

(1)最小化方法（Minimization approaches）

最小化方法通过最小化一个能量方程获得FSS问题的解，它从整体上处理图象信息。构造合适的能量方程以及选择合适的最小化数值算法，是该方法的关键。

特点：精度高、复杂度高、收敛速度慢

(2)演化方法（propagation approaches）

演化方法是从图象中一组已知高度的点(如奇点)出发，递推出整个曲面的形状信息。

特点：精度低、计算不稳定、噪声影响大

(3)局部方法（local approaches）

局部方法则是基于对曲面形状的局部假设，进而推出曲面形状信息，该方法只能恢复曲面的方向信息，而无法得到曲面的高度值。

       特点：重构球体表面效果比较好

        (4）线性方法（linear approaches）

        线性化方法是通过将反射图线性化，来获得SFS问题的解.

        特点：复杂度低、计算速度快、对噪声比较敏感

 

       

        SFS问题可以看成是图象生成的逆过程，因此，要获得SFS问题的精确解，首先必须了解图象的形成机理，同时，为构造合适的重建模型，又必须了解人眼从图象恢复形状的机理。这就决定了SFS问题必须解决以下几个难题:

          （1）确定合适的反射模型

          根据物体表面物理特性的不同，曲面反射可以分为漫反射(即朗伯体反射)、镜面反射、混合反射（Chybird)或更复杂的反射形式。为简化问题，传统的SFS算法均假设反射模型为朗伯体反射模型，这样，朗伯体表面的亮度与入射光强成正比。但对于实际物体，朗伯体模型过于简单了。实际上，真实物体表面的反射介于漫反射和镜面反射之间，这样，为提高模型的精度，应该考虑混合反射模型在SFS中的应用。  

（2）给出合适的约束条件

即使我们假设物体表面反射为朗伯体反射并知道光源方向，即使图象亮度可以描述成曲面形状和光源方向的方程，FSS本质上还是病态问题。这是因为，如果用法矢表示曲面的形状，则我们得到一个有三个未知量的线性方程。如果用曲面梯度描述曲面形状，则我们得到一个有两个未知量的非线性方程。而从图象中我们只可以获得图象亮度一个已知量，于是，寻找SFS问题唯一解必须加入额外的约束条件。传统SFS技术，引入了光滑约束条件，即假定待重建表面是光滑的，物体表面高度是C^2连续的。这种假设对大多数人造物体表面较为适合，但对自然景物却不正确。自然景物图像及其相应的物体表面一般并非光滑的，通常具有分形特性，因此对自然景物图像的表面恢复加入分形约束才是一种合理的方法，问题的关键是，如何建立景物表面粗糙度和分形特征之间的定量描述关系。

（3）确定处理噪声的方法

噪声在平面灰度图像大多表现为物体成像区域内的灰度值突变点，传统的SFS方法对噪声的处理基本上是把其容入全局中加以中和，即没有真正排除掉噪声的影响。当在重构之前对噪声进行处理时，由于平面图像只能由灰度的突变性来分辨噪声，识别率不尽人意，所以还是很容易把噪声带入重构过程，影响重构的精度;如果带着噪声重构三维曲面后，由灰度值及其表面形状的突变性来处理，这样对于噪声的处理可以得到另人满意的结果，但是至今仍没有适于此的重构算法。