1-2零均值归一化

1-2零均值归一化

回顾上一节:对原图像直接平移,计算\(SSD(u,v)=\sum [f(x,y)-g(x+u,y+v)]^2\)

现在给平移后的图像增加曝光:

cv::Mat dst;
translatedImage.convertTo(dst, translatedImage.type(), 1.8, 0);
translatedImage = dst;

再次运行结果:

位移:u = 5, v = 3
最小SSD = 6.38165e+06

虽然u,v是对的,但是SSD已经不再是0了。

看到这里我们就疑惑了,既然u,v是对的,那说明SSD是可以使用的呀,那零均值归一化有什么用呢?

这是因为我们现在做的是整体乘以一个系数1.8,也就是模拟理想的全局线性缩放的曝光。但是实际上的曝光可能只是局部的,或者有一些局部阴影的干扰,这样的话因为是在局部变化的,就会导致全局SSD的极值点发生变化,此时就会产生错误。而 ZNSSD/ZNCC 零均值(Zero-Mean)操作会减去子区的平均值,能够完美抵消这种局部的直流分量(加性光照偏移)。

完整原因:

在真实的实验环境中,光照变化往往远比“乘以一个常数”复杂得多。如果不用归一化指标,会遇到以下致命问题:

  1. 实际光照包含“加性偏移”(Additive Bias)

真实的曝光改变、环境光干扰、阴影或相机暗电流,往往表现为:

\(I_{new}(x, y) = \alpha(x, y) \cdot I_{old}(x, y) + \beta(x, y)\)

其中 \(\beta(x, y)\) 是一个局部的加性背景光。

  • 对 SSD 的影响:如果目标图像局部多了一个恒定的亮度偏移量(比如一块阴影或反光),即使图像内容完全一样,\(f(x) - g(x+u)\) 的差值也会因为这个偏移而整体垫高。这会导致标准 SSD 的极小值点发生漂移,甚至完全失效。
  • 对 ZNSSD/ZNCC 的优势:零均值(Zero-Mean)操作会减去子区的平均值,能够完美抵消这种局部的直流分量(加性光照偏移)。
  1. 复杂的非均匀光照与表面反射

在机械加载、高温实验或三维曲面测量中:

  • 试件表面可能会发生转动或翘曲,导致光源入射角改变,产生高光、局部反光或阴影。
  • 此时不同位置的亮度缩放系数 \(\alpha(x, y)\) 是空间变化的,而不是全局统一的 \(1.8\)。
  • 归一化互相关(NCC / ZNCC)通过对亮度和对比度进行归一化(除以标准差),使得算法对幅值变化具有尺度不变性。
  1. 亚像素拟合与优化算法的收敛性

现代 DIC 不仅需要整数像素位移,还需要通过形函数(如仿射、二次形函数)和优化算法(如 IC-GN 算法、Levenberg-Marquardt)来实现亚像素级的高精度位移和应变测量。

  • 如果代价函数(Cost Function)对光照变化敏感,光照引起的误差就会直接耦合进目标函数中,导致优化迭代时收敛方向错误或陷入局部最优,从而在最终的应变场(Strain Field)中产生巨大的噪声和伪影。

那么接下来,就让我们来介绍——零均值归一化

在数字图像相关(DIC)中,为了克服光照带来的干扰,最常用的匹配准则就是 ZNSSD(Zero-Mean Normalized Sum of Squared Differences,零均值归一化平方差总和) 及其等价形式 ZNCC(零均值归一化互相关)。

下面我们从数学公式出发,层层拆解它的原理,并看它如何精准破解你提到的三个核心痛点。

一、 核心数学公式

设参考图像(Reference Image)在子区内的像素灰度值为 \(f(x)\),变形后的目标图像(Target Image)在对应位置的灰度值为 \(g(x')\)。

  1. 零均值化(Zero-Mean): 分别计算参考子区和目标子区的平均灰度值 \(\bar{f}\) 和 \(\bar{g}\):

    \(\bar{f} = \frac{1}{N} \sum_{i=1}^{N} f(x_i), \quad \bar{g} = \frac{1}{N} \sum_{i=1}^{N} g(x'_i)\)

    然后从每个像素中减去各自的均值,得到去均值后的灰度:

    \(\tilde{f}(x_i) = f(x_i) - \bar{f}, \quad \tilde{g}(x'_i) = g(x'_i) - \bar{g}\)

  2. 归一化(Normalized): 计算去均值后的标准差(能量范数):

    \(\Delta_f = \sqrt{\sum_{i=1}^{N} (f(x_i) - \bar{f})^2}, \quad \Delta_g = \sqrt{\sum_{i=1}^{N} (g(x'_i) - \bar{g})^2}\)

  3. ZNSSD 准则的目标函数:

    \(C_{\text{ZNSSD}} = \sum_{i=1}^{N} \left[ \frac{f(x_i) - \bar{f}}{\Delta_f} - \frac{g(x'_i) - \bar{g}}{\Delta_g} \right]^2\)

通过这个公式,无论光照怎么变,算法比较的不再是绝对亮度,而是去除均值、归一化能量后的“相对纹理形状”。

二、 它是如何破解三大痛点的?

1. 破解“加性偏移”(Additive Bias)

  • 物理意义:环境光整体变亮/变暗、相机暗电流、阴影遮挡或背景光突变,通常表现为一个常数或低频偏置 \(\beta\)。即:

    \(g(x) = f(x) + \beta\)

  • 数学推导: 当我们求目标图像的均值 \(\bar{g}\) 时:

    \(\bar{g} = \frac{1}{N}\sum (f(x_i) + \beta) = \bar{f} + \beta\)

    接着代入零均值项:

    \(\tilde{g}(x_i) = g(x_i) - \bar{g} = (f(x_i) + \beta) - (\bar{f} + \beta) = f(x_i) - \bar{f} = \tilde{f}(x_i)\)

    也就是能够做到\(\tilde{g}(x_i) = \tilde{f}(x_i)\),和没加偏移的\(g(x) = f(x)\)想要达到的目的一样了。

  • 结论:加性偏移 \(\beta\) 在做“减均值”这一步时,被数学上完全抵消了。它对 ZNSSD 的结果不产生任何影响。

2. 破解“复杂的非均匀光照与表面反射”

  • 物理意义:试件在受力弯曲、转动时,光源入射角改变,导致局部反光、高光或非均匀光照(如透镜渐晕、表面曲率引起的光斑)。这通常表现为亮度的乘性缩放或局部变化:

    \(g(x) = \alpha(x) \cdot f(x)\)

    其中 \(\alpha(x)\) 是随空间变化的缩放系数。

  • 数学推导(以全局比例 \(\alpha\) 为例): 如果 \(g(x) = \alpha \cdot f(x)\),则均值 \(\bar{g} = \alpha \cdot \bar{f}\)。 分子部分:\(g(x) - \bar{g} = \alpha(f(x) - \bar{f})\)。 分母部分(标准差):\(\Delta_g = \sqrt{\sum (\alpha(f(x) - \bar{f}))^2} = \alpha \cdot \Delta_f\)。 将它们代入 ZNSSD 公式中的归一化项:

    \(\frac{g(x) - \bar{g}}{\Delta_g} = \frac{\alpha(f(x) - \bar{f})}{\alpha \cdot \Delta_f} = \frac{f(x) - \bar{f}}{\Delta_f}\)

    也就是同一位置的两个值又一致了,和\(g(x) = f(x)\)想要达到的目的又一样了。

  • 结论:比例系数 \(\alpha\) 在分子分母相除时被完美约分消掉了。虽然非均匀光照(\(\alpha\) 随空间变化)在子区较小时也可以被近似看作常数,但 ZNSSD 这种对幅值的归一化能力,使得它对光强波动具有极强的免疫力。

3. 保证“亚像素拟合与优化算法的收敛性”

  • 为什么标准 SSD 会让优化崩溃? 现代 DIC(如 IC-GN 算法)需要通过对残差(Residuals)求导来构建雅可比矩阵(Jacobian)和黑塞矩阵(Hessian),从而像爬山一样迭代寻找精确的亚像素位移。 如果使用标准 SSD,残差为 \(R = f - g\)。如果此时有光照干扰(比如背景亮了一点),残差里就会混入由光照引起的系统误差。这会导致梯度方向被光照变化“带偏”。优化算法会误以为是位移没对准,从而在错误的道路上反复横跳,导致不收敛或者计算出的应变场(Strain Field)充满高频噪声(虚假的应变)。
  • ZNSSD 如何解决? ZNSSD 将光照带来的亮度和对比度误差在代价函数设计之初就“剥离”了。
    • 它的残差只反映几何形变和纯纹理差异。
    • 优化算法在计算导数时,面对的是一个干净、稳定的数学地形图,因此能够以极高的精度(可达 0.01 像素级)平稳收敛到真实位移点,最终算出来的应变数据才真实可靠。

实践

image-20261118195201120

如上图所示,右图模拟增加一些非均匀的阴影和曝光。

现在的输出:

位移:u = 3, v = 2
最小SSD = 347259

已经得不到我们想要的u = 3, v = 2了

现在修改计算差值的公式,更换为ZNSSD:\(C_{\text{ZNSSD}} = \sum_{i=1}^{N} \left[ \frac{f(x_i) - \bar{f}}{\Delta_f} - \frac{g(x'_i) - \bar{g}}{\Delta_g} \right]^2\)

double ZNSSD(const cv::Mat& templ, const cv::Mat& targetImage, const cv::Point& targetPoint) {
	int subW = templ.cols, subH = templ.rows;

	auto mean = [](const cv::Mat& templ) {
		double sum = 0.0;
		for (int i = 0;i < templ.cols;++i) {
			for (int j = 0;j < templ.rows;++j) {
				sum += templ.at<uchar>(j, i);
			}
		}
		return sum / (templ.cols * templ.rows);
		};
	double fMean = mean(templ);
	double gMean = mean(targetImage(cv::Rect(targetPoint.x, targetPoint.y, subW, subH)));
	
	auto normalized = [&](const cv::Mat& templ) {
		double sum = 0.0;
		for (int i = 0;i < templ.cols;++i) {
			for (int j = 0;j < templ.rows;++j) {
				sum += pow(templ.at<uchar>(j, i) - fMean, 2);
			}
		}
		return sqrt(sum);
		};
	double fNormalized = normalized(templ);
	double gNormalized = normalized(targetImage(cv::Rect(targetPoint.x, targetPoint.y, subW, subH)));

	double valueZNSSD = 0.0;
	for (int x = 0;x < subW;++x) {
		for (int y = 0;y < subH;++y) {
			templ.at<uchar>(y, x) - targetImage.at<uchar>(targetPoint.y + y, targetPoint.x + x);
			valueZNSSD += pow((templ.at<uchar>(y, x) - fMean) / fNormalized - (targetImage.at<uchar>(targetPoint.y + y, targetPoint.x + x) - gMean) / gNormalized, 2);
		}
	}
	return valueZNSSD;
}

然后把计算方差的方式修改为ZNSSD:

// 3)遍历候选位移
for (int v = -searchRadius; v <= searchRadius; ++v) { // 垂直位移v
	for (int u = -searchRadius; u <= searchRadius; ++u) { // 水平位移u
		int gx = subX + u;
		int gy = subY + v;

		// 检查,不能越过图像
		if (gx<0 || gx + subX>translatedImage.cols || gy<0 || gy + subY>translatedImage.rows) {
			continue;
		}

		// 4)计算每个候选位移的SSD
		double vZNSSD = ZNSSD(templ, translatedImage, cv::Point(gx, gy));
		
		if (vZNSSD < minZNSSD) {
			minZNSSD = vZNSSD;
			bestU = u;
			bestV = v;
		}
	}
}
位移:u = 5, v = 3
最小ZNSSD = 0.166298

可以看到,我们想要的结果又成功找回来了,并且此时的ZNSSD值非常的小。

cv::matchTemplate

使用cv::matchTemplate的cv::TM_SQDIFF方法,输出如下:

位移:u = 245, v = 325
最小SSD = 3.25452e+06

出现了巨大的偏差。

现在修改为TM_CCOEFF_NORMED。但是这里要注意,OpenCV不直接提供ZNSSD,它提供的这个TM_CCOEFF_NORMED是ZNCC,和ZNSSD的关系是ZNSSD=2(1-ZNCC)。它们的极值点是一样的。

cv::Mat searchResult;
cv::matchTemplate(translatedImage, templ, searchResult, cv::TM_CCOEFF_NORMED);

double minVal, maxVal;
cv::Point minLoc, maxLoc;
cv::minMaxLoc(searchResult, &minVal, &maxVal, &minLoc, &maxLoc);
int u = maxLoc.x - subX;
int v = maxLoc.y - subY;

std::cout << "位移:u = " << u << ", v = " << v << std::endl;
std::cout << "最小ZNSSD = " << 2*(1-maxVal) << std::endl;

得到输出:

位移:u = 5, v = 3
最小ZNSSD = 0.00458026
posted @ 2026-11-19 09:03  jsongliang  阅读(8)  评论(0)    收藏  举报