1-2零均值归一化
1-2零均值归一化
回顾上一节:对原图像直接平移,计算\(SSD(u,v)=\sum [f(x,y)-g(x+u,y+v)]^2\)
现在给平移后的图像增加曝光:
cv::Mat dst;
translatedImage.convertTo(dst, translatedImage.type(), 1.8, 0);
translatedImage = dst;
再次运行结果:
位移:u = 5, v = 3
最小SSD = 6.38165e+06
虽然u,v是对的,但是SSD已经不再是0了。
看到这里我们就疑惑了,既然u,v是对的,那说明SSD是可以使用的呀,那零均值归一化有什么用呢?
这是因为我们现在做的是整体乘以一个系数1.8,也就是模拟理想的全局线性缩放的曝光。但是实际上的曝光可能只是局部的,或者有一些局部阴影的干扰,这样的话因为是在局部变化的,就会导致全局SSD的极值点发生变化,此时就会产生错误。而 ZNSSD/ZNCC 零均值(Zero-Mean)操作会减去子区的平均值,能够完美抵消这种局部的直流分量(加性光照偏移)。
完整原因:
在真实的实验环境中,光照变化往往远比“乘以一个常数”复杂得多。如果不用归一化指标,会遇到以下致命问题:
- 实际光照包含“加性偏移”(Additive Bias)
真实的曝光改变、环境光干扰、阴影或相机暗电流,往往表现为:
\(I_{new}(x, y) = \alpha(x, y) \cdot I_{old}(x, y) + \beta(x, y)\)
其中 \(\beta(x, y)\) 是一个局部的加性背景光。
- 对 SSD 的影响:如果目标图像局部多了一个恒定的亮度偏移量(比如一块阴影或反光),即使图像内容完全一样,\(f(x) - g(x+u)\) 的差值也会因为这个偏移而整体垫高。这会导致标准 SSD 的极小值点发生漂移,甚至完全失效。
- 对 ZNSSD/ZNCC 的优势:零均值(Zero-Mean)操作会减去子区的平均值,能够完美抵消这种局部的直流分量(加性光照偏移)。
- 复杂的非均匀光照与表面反射
在机械加载、高温实验或三维曲面测量中:
- 试件表面可能会发生转动或翘曲,导致光源入射角改变,产生高光、局部反光或阴影。
- 此时不同位置的亮度缩放系数 \(\alpha(x, y)\) 是空间变化的,而不是全局统一的 \(1.8\)。
- 归一化互相关(NCC / ZNCC)通过对亮度和对比度进行归一化(除以标准差),使得算法对幅值变化具有尺度不变性。
- 亚像素拟合与优化算法的收敛性
现代 DIC 不仅需要整数像素位移,还需要通过形函数(如仿射、二次形函数)和优化算法(如 IC-GN 算法、Levenberg-Marquardt)来实现亚像素级的高精度位移和应变测量。
- 如果代价函数(Cost Function)对光照变化敏感,光照引起的误差就会直接耦合进目标函数中,导致优化迭代时收敛方向错误或陷入局部最优,从而在最终的应变场(Strain Field)中产生巨大的噪声和伪影。
那么接下来,就让我们来介绍——零均值归一化
在数字图像相关(DIC)中,为了克服光照带来的干扰,最常用的匹配准则就是 ZNSSD(Zero-Mean Normalized Sum of Squared Differences,零均值归一化平方差总和) 及其等价形式 ZNCC(零均值归一化互相关)。
下面我们从数学公式出发,层层拆解它的原理,并看它如何精准破解你提到的三个核心痛点。
一、 核心数学公式
设参考图像(Reference Image)在子区内的像素灰度值为 \(f(x)\),变形后的目标图像(Target Image)在对应位置的灰度值为 \(g(x')\)。
-
零均值化(Zero-Mean): 分别计算参考子区和目标子区的平均灰度值 \(\bar{f}\) 和 \(\bar{g}\):
\(\bar{f} = \frac{1}{N} \sum_{i=1}^{N} f(x_i), \quad \bar{g} = \frac{1}{N} \sum_{i=1}^{N} g(x'_i)\)
然后从每个像素中减去各自的均值,得到去均值后的灰度:
\(\tilde{f}(x_i) = f(x_i) - \bar{f}, \quad \tilde{g}(x'_i) = g(x'_i) - \bar{g}\)
-
归一化(Normalized): 计算去均值后的标准差(能量范数):
\(\Delta_f = \sqrt{\sum_{i=1}^{N} (f(x_i) - \bar{f})^2}, \quad \Delta_g = \sqrt{\sum_{i=1}^{N} (g(x'_i) - \bar{g})^2}\)
-
ZNSSD 准则的目标函数:
\(C_{\text{ZNSSD}} = \sum_{i=1}^{N} \left[ \frac{f(x_i) - \bar{f}}{\Delta_f} - \frac{g(x'_i) - \bar{g}}{\Delta_g} \right]^2\)
通过这个公式,无论光照怎么变,算法比较的不再是绝对亮度,而是去除均值、归一化能量后的“相对纹理形状”。
二、 它是如何破解三大痛点的?
1. 破解“加性偏移”(Additive Bias)
-
物理意义:环境光整体变亮/变暗、相机暗电流、阴影遮挡或背景光突变,通常表现为一个常数或低频偏置 \(\beta\)。即:
\(g(x) = f(x) + \beta\)
-
数学推导: 当我们求目标图像的均值 \(\bar{g}\) 时:
\(\bar{g} = \frac{1}{N}\sum (f(x_i) + \beta) = \bar{f} + \beta\)
接着代入零均值项:
\(\tilde{g}(x_i) = g(x_i) - \bar{g} = (f(x_i) + \beta) - (\bar{f} + \beta) = f(x_i) - \bar{f} = \tilde{f}(x_i)\)
也就是能够做到\(\tilde{g}(x_i) = \tilde{f}(x_i)\),和没加偏移的\(g(x) = f(x)\)想要达到的目的一样了。
-
结论:加性偏移 \(\beta\) 在做“减均值”这一步时,被数学上完全抵消了。它对 ZNSSD 的结果不产生任何影响。
2. 破解“复杂的非均匀光照与表面反射”
-
物理意义:试件在受力弯曲、转动时,光源入射角改变,导致局部反光、高光或非均匀光照(如透镜渐晕、表面曲率引起的光斑)。这通常表现为亮度的乘性缩放或局部变化:
\(g(x) = \alpha(x) \cdot f(x)\)
其中 \(\alpha(x)\) 是随空间变化的缩放系数。
-
数学推导(以全局比例 \(\alpha\) 为例): 如果 \(g(x) = \alpha \cdot f(x)\),则均值 \(\bar{g} = \alpha \cdot \bar{f}\)。 分子部分:\(g(x) - \bar{g} = \alpha(f(x) - \bar{f})\)。 分母部分(标准差):\(\Delta_g = \sqrt{\sum (\alpha(f(x) - \bar{f}))^2} = \alpha \cdot \Delta_f\)。 将它们代入 ZNSSD 公式中的归一化项:
\(\frac{g(x) - \bar{g}}{\Delta_g} = \frac{\alpha(f(x) - \bar{f})}{\alpha \cdot \Delta_f} = \frac{f(x) - \bar{f}}{\Delta_f}\)
也就是同一位置的两个值又一致了,和\(g(x) = f(x)\)想要达到的目的又一样了。
-
结论:比例系数 \(\alpha\) 在分子分母相除时被完美约分消掉了。虽然非均匀光照(\(\alpha\) 随空间变化)在子区较小时也可以被近似看作常数,但 ZNSSD 这种对幅值的归一化能力,使得它对光强波动具有极强的免疫力。
3. 保证“亚像素拟合与优化算法的收敛性”
- 为什么标准 SSD 会让优化崩溃? 现代 DIC(如 IC-GN 算法)需要通过对残差(Residuals)求导来构建雅可比矩阵(Jacobian)和黑塞矩阵(Hessian),从而像爬山一样迭代寻找精确的亚像素位移。 如果使用标准 SSD,残差为 \(R = f - g\)。如果此时有光照干扰(比如背景亮了一点),残差里就会混入由光照引起的系统误差。这会导致梯度方向被光照变化“带偏”。优化算法会误以为是位移没对准,从而在错误的道路上反复横跳,导致不收敛或者计算出的应变场(Strain Field)充满高频噪声(虚假的应变)。
- ZNSSD 如何解决? ZNSSD 将光照带来的亮度和对比度误差在代价函数设计之初就“剥离”了。
- 它的残差只反映几何形变和纯纹理差异。
- 优化算法在计算导数时,面对的是一个干净、稳定的数学地形图,因此能够以极高的精度(可达 0.01 像素级)平稳收敛到真实位移点,最终算出来的应变数据才真实可靠。
实践

如上图所示,右图模拟增加一些非均匀的阴影和曝光。
现在的输出:
位移:u = 3, v = 2
最小SSD = 347259
已经得不到我们想要的u = 3, v = 2了
现在修改计算差值的公式,更换为ZNSSD:\(C_{\text{ZNSSD}} = \sum_{i=1}^{N} \left[ \frac{f(x_i) - \bar{f}}{\Delta_f} - \frac{g(x'_i) - \bar{g}}{\Delta_g} \right]^2\)
double ZNSSD(const cv::Mat& templ, const cv::Mat& targetImage, const cv::Point& targetPoint) {
int subW = templ.cols, subH = templ.rows;
auto mean = [](const cv::Mat& templ) {
double sum = 0.0;
for (int i = 0;i < templ.cols;++i) {
for (int j = 0;j < templ.rows;++j) {
sum += templ.at<uchar>(j, i);
}
}
return sum / (templ.cols * templ.rows);
};
double fMean = mean(templ);
double gMean = mean(targetImage(cv::Rect(targetPoint.x, targetPoint.y, subW, subH)));
auto normalized = [&](const cv::Mat& templ) {
double sum = 0.0;
for (int i = 0;i < templ.cols;++i) {
for (int j = 0;j < templ.rows;++j) {
sum += pow(templ.at<uchar>(j, i) - fMean, 2);
}
}
return sqrt(sum);
};
double fNormalized = normalized(templ);
double gNormalized = normalized(targetImage(cv::Rect(targetPoint.x, targetPoint.y, subW, subH)));
double valueZNSSD = 0.0;
for (int x = 0;x < subW;++x) {
for (int y = 0;y < subH;++y) {
templ.at<uchar>(y, x) - targetImage.at<uchar>(targetPoint.y + y, targetPoint.x + x);
valueZNSSD += pow((templ.at<uchar>(y, x) - fMean) / fNormalized - (targetImage.at<uchar>(targetPoint.y + y, targetPoint.x + x) - gMean) / gNormalized, 2);
}
}
return valueZNSSD;
}
然后把计算方差的方式修改为ZNSSD:
// 3)遍历候选位移
for (int v = -searchRadius; v <= searchRadius; ++v) { // 垂直位移v
for (int u = -searchRadius; u <= searchRadius; ++u) { // 水平位移u
int gx = subX + u;
int gy = subY + v;
// 检查,不能越过图像
if (gx<0 || gx + subX>translatedImage.cols || gy<0 || gy + subY>translatedImage.rows) {
continue;
}
// 4)计算每个候选位移的SSD
double vZNSSD = ZNSSD(templ, translatedImage, cv::Point(gx, gy));
if (vZNSSD < minZNSSD) {
minZNSSD = vZNSSD;
bestU = u;
bestV = v;
}
}
}
位移:u = 5, v = 3
最小ZNSSD = 0.166298
可以看到,我们想要的结果又成功找回来了,并且此时的ZNSSD值非常的小。
cv::matchTemplate
使用cv::matchTemplate的cv::TM_SQDIFF方法,输出如下:
位移:u = 245, v = 325
最小SSD = 3.25452e+06
出现了巨大的偏差。
现在修改为TM_CCOEFF_NORMED。但是这里要注意,OpenCV不直接提供ZNSSD,它提供的这个TM_CCOEFF_NORMED是ZNCC,和ZNSSD的关系是ZNSSD=2(1-ZNCC)。它们的极值点是一样的。
cv::Mat searchResult;
cv::matchTemplate(translatedImage, templ, searchResult, cv::TM_CCOEFF_NORMED);
double minVal, maxVal;
cv::Point minLoc, maxLoc;
cv::minMaxLoc(searchResult, &minVal, &maxVal, &minLoc, &maxLoc);
int u = maxLoc.x - subX;
int v = maxLoc.y - subY;
std::cout << "位移:u = " << u << ", v = " << v << std::endl;
std::cout << "最小ZNSSD = " << 2*(1-maxVal) << std::endl;
得到输出:
位移:u = 5, v = 3
最小ZNSSD = 0.00458026

浙公网安备 33010602011771号