1-1图像读取与整数平移匹配

1-1图像读取与整数平移匹配

  1. 读取一张灰度散斑图。
  2. 选一个子区。
  3. 制作一张向右平移 5 像素、向下平移 3 像素的图。
  4. 在搜索范围内逐个位置计算灰度差平方和。
  5. 找出最小值对应的位置。

此时只需理解:

\(SSD(u,v)=\sum [f(x,y)-g(x+u,y+v)]^2\)

它表达的就是:“把图块移动到这里,两块图案有多不像?”

通关标准:自己写的搜索能找回 ((5,3)),并且你能解释每一个循环。

之后再学习零均值归一化,理解为什么图像亮一点、暗一点时,直接比较灰度会出问题。最后用 cv::matchTemplate 对照。

void test1() {
/**
	读取一张灰度散斑图。
	选一个子区。
	制作一张向右平移 5 像素、向下平移 3 像素的图。
	在搜索范围内逐个位置计算灰度差平方和。
	找出最小值对应的位置。
*/
	cv::Mat img = cv::imread(R"(C:\Users\xlab-\Desktop\3D_DIC_CPP _GPT\img\000000000000.png)", cv::IMREAD_GRAYSCALE);
	cv::Mat image;
	cv::resize(img, image, cv::Size(img.cols / 2, img.rows / 2));

	int tx = 5, ty = 3;
	cv::Mat translationMatrix = (cv::Mat_<double>(2, 3) << 1, 0, tx, 0, 1, ty);
	cv::Mat translatedImage;
	cv::warpAffine(image, translatedImage, translationMatrix, image.size());


	// 1)选取一个子区
	int subW = 40, subH = 40;
	int subX = image.cols / 2 - subW / 2; // 子区左上角x
	int subY = image.rows / 2 - subH / 2; // 子区左上角y
	cv::Mat templ = image(cv::Rect(subX, subY, subW, subH)); //这是浅拷贝,共享数据

	// 2)设置搜索范围
	int searchRadius = 10;
	double minSSD = std::numeric_limits<double>::max();
	int bestU = 0, bestV = 0;

	// 3)遍历候选位移
	for (int v = -searchRadius; v <= searchRadius; ++v) { // 垂直位移v
		for (int u = -searchRadius; u <= searchRadius; ++u) { // 水平位移u
			int gx = subX + u;
			int gy = subY + v;

			// 检查,不能越过图像
			if (gx<0 || gx + subX>translatedImage.cols || gy<0 || gy + subY>translatedImage.rows) {
				continue;
			}

			// 4)计算每个候选位移的SSD
			double ssd = 0.0;
			for (int i = 0; i < subW; ++i) {
				for (int j = 0; j < subH; ++j) {
					ssd += pow(templ.at<uchar>(j, i) - translatedImage.at<uchar>(gy + j, gx + i), 2);
				}
			}
			if (ssd < minSSD) {
				minSSD = ssd;
				bestU = u;
				bestV = v;
			}
		}
	}

	std::cout << "位移:u = " << bestU << ", v = " << bestV << std::endl;
	std::cout << "最小SSD = " << minSSD << std::endl;
}

输出:

位移:u = 5, v = 3
最小SSD = 0

cv::matchTemplate

cv::matchTemplate是OpenCV提供的模板匹配函数,它把”滑动窗口+相似度计算+找极值“这一整套流程封装好了。我手写的SSD搜索,本质上就是matchTemplate在method=TM_SQDIFF时的行为。

函数原型

void cv::matchTemplate(
    InputArray image,        // 待搜索的大图 g
    InputArray templ,        // 模板小图 f
    OutputArray result,      // 输出相似度图
    int method,              // 匹配方法
    InputArray mask = noArray()  // 可选掩码
);
  • image:搜索图,类型 CV_8U 或 CV_32F,通道数 1、3 或 4。
  • templ:模板,类型和通道数必须与 image 相同,尺寸不能大于 image。
  • result:输出结果图,尺寸为 (W - w + 1) × (H - h + 1),其中 W,H 是大图宽高,w,h 是模板宽高。每个位置存的是该对齐位置下的匹配得分。
  • method:匹配方法,决定 result 中数值的含义。

与我手写搜索的对应关系

我手写的循环:

for (int v = -searchRadius; v <= searchRadius; ++v)
    for (int u = -searchRadius; u <= searchRadius; ++u)
        ssd = sum((f(x,y) - g(x+u, y+v))^2);

matchTemplate 做的是:

result(v,u) = SSD(templ, image中以(u,v)为左上角的子区)

其中,u从0到W-w,v从0到H-h。也就是说,matchTemplate默认搜索整个大图,而不是我指定的[-10,10]的小窗口。要限定搜索范围,需要先剪裁image的ROI,或者只对result的局部区域找极值。

常用匹配方法

方法 公式含义 最优值 备注
TM_SQDIFF Σ(f - g)^2 最小值 就是你的 SSD,值越小越像,0 表示完全相同
TM_SQDIFF_NORMED 归一化 SSD 最小值 对亮度尺度更鲁棒,值在 [0,1]
TM_CCORR Σ(f · g) 最大值 互相关,对亮区域敏感,容易误匹配
TM_CCORR_NORMED 归一化互相关 最大值 比 CCORR 稳
TM_CCOEFF Σ((f-f̄)(g-ḡ)) 最大值 去均值互相关,对亮度平移不敏感
TM_CCOEFF_NORMED 归一化去均值互相关 最大值 最常用,值在 [-1,1],1 表示完美匹配

做 DIC / 散斑相关时,TM_SQDIFF 和 TM_CCOEFF_NORMED 最常用。要和我手写的 SSD 对照,就用 TM_SQDIFF。

用法

matchTemplate只输出result,不会直接告诉我们坐标,需要自己找极值:

cv::Mat result;
cv::matchTemplate(image, templ, result, cv::TM_SQDIFF);

double minVal, maxVal;
cv::Point minLoc, maxLoc;
cv::minMaxLoc(result, &minVal, &maxVal, &minLoc, &maxLoc);

// TM_SQDIFF / TM_SQDIFF_NORMED用minLoc,其他方法用maxLoC
cv::Point matchLoc = minLoc;

int u = minLoc.x - subX;
int v = minLoc.y - subY;
std::cout << "matchTemplate 最佳位移: u = " << u << ", v = " << v << std::endl;
std::cout << "最小 SSD = " << minVal << std::endl;

注意 minLoc 是模板左上角在大图中的坐标,不是位移量。位移量要用它减去模板在参考图中的原始左上角坐标。

限定搜索范围的做法

matchTemplate 没有 searchRadius 参数。要只搜 [-10, 10],有两种方式:

方式一:裁剪搜索图 ROI

int margin = 10;
// 自己画个图就知道为什么是subW + 2*margin, subH + 2*margin了
cv::Rect searchROI(subX - margin, subY - margin, subW + 2*margin, subH + 2*margin); 
// 注意ROI不能越界
cv::Mat searchRegion = translatedImage(searchROI);
cv::matchTemplate(searchRegion, templ, result, cv::TM_SQDIFF);
cv::MaxLoc(result, &minVal, &maxVal, &minLoc, &maxLoc);
// 此时minLoc是相对于searchROI左上角的坐标
// 全局坐标=minLoc+searchROI.tl()
int u = (minLoc.x + searchROI.x) - subX;
int v = (minLoc.y + searchROI.y) - subY;

方式二:全图匹配后只在result的局部区域找极值

cv::matchTemplate(translatedImage, templ, result, cv::TM_SQDIFF);

// 要限制u,v在[-10,10]之间,就在result的[subX-10,subX+10] * [subY-10,subY+10]内找
int r0 = subY-10, r1 = subY+10;
int c0 = subX-10, c1 = subX+10;
cv::Mat subResult = result(cv::Rect(c0, r0, c1 - c0 + 1, r1 - r0 + 1));
cv::minMaxLoc(subResult, &minVal, &maxVal, &minLoc, &maxLoc);
// 全局result坐标=minLoc+(c0,r0)

注意事项

  1. 方法决定找最小值还是最大值:TM_SQDIFF/TM_SQDIFF_NORMED 找 minLoc,其余找 maxLoc。用错会得到“最不像”的位置。
  2. result 尺寸不是原图尺寸:是 (W-w+1) × (H-h+1),所以 result.at(v, u) 对应模板左上角在 (u, v)。
  3. 模板不能大于搜索图,否则抛异常。
  4. warpAffine 黑边会干扰:如果搜索区域包含平移产生的黑边,TM_SQDIFF 可能把黑边当匹配。你的中心子区 + 小搜索范围不会碰到。
  5. 整数平移下 TM_SQDIFF 最小值应为 0:因为 warpAffine 整数平移不改变像素值,匹配位置像素完全相同。若 minVal 不接近 0,检查是否用了 IMREAD_GRAYSCALE、模板是否越界、搜索图是否有黑边。
  6. 亚像素:matchTemplate 只给整数像素位置。DIC 要做亚像素,通常先用它粗定位,再用你手写的 SSD/IC-GN 做亚像素优化。

opencv小知识点:

一、图片平移

cv::Mat_<double>(2, 3)          // 构造一个 2 行 3 列、元素类型为 double 的矩阵
                    << 1, 0, tx, 0, 1, ty   // 按行优先依次填入 6 个值

整体表达式的结果是一个已经填好数据的 cv::Mat,然后赋值给 translationMatrix。

填入后的矩阵内容:逗号初始化是按行优先(row-major)填充的,6 个值对应 2×3 = 6 个元素:

即:

\(M = \begin{bmatrix} 1 & 0 & t_x \\ 0 & 1 & t_y \end{bmatrix}\)

当 tx=5, ty=3 时:

[ 1  0  5 ]
[ 0  1  3 ]

warpAffine 要求仿射变换矩阵是 2×3。对平移而言,标准形式是:

\(\begin{bmatrix} x' \\ y' \end{bmatrix} = \begin{bmatrix} 1 & 0 & t_x \\ 0 & 1 & t_y \end{bmatrix} \begin{bmatrix} x \\ y \\ 1 \end{bmatrix} = \begin{bmatrix} x + t_x \\ y + t_y \end{bmatrix}\)

所以左上角 2×2 是单位矩阵(不缩放、不旋转),第三列是平移量 tx, ty。

二、cv::Mat::at<T>(i, j)

cv::Mat::at<T>(i, j) 的模板参数 T 决定了如何解释这块内存,本质上只是告诉你"从这里读出 sizeof(T) 个字节并当成 T 类型返回"。所以能给的类型取决于 image 的 type()(通道数 + 元素深度),给错了不会编译报错,但会读错数据。

常见可给的类型

  1. 单通道图(CV_8UC1、CV_16UC1、CV_32FC1 等)
image.at<uchar>(i, j);   // CV_8U  灰度图,0~255
image.at<schar>(i, j);   // CV_8S
image.at<ushort>(i, j);  // CV_16U 深度图常见
image.at<short>(i, j);   // CV_16S
image.at<int>(i, j);     // CV_32S
image.at<float>(i, j);   // CV_32F
image.at<double>(i, j);  // CV_64F

获取到的是一个标量(该像素在该通道的数值)。

  1. 多通道图(用 cv::Vec)

cv::Vec<T, N> 表示 N 个 T 类型分量,N 必须等于通道数:

image.at<cv::Vec3b>(i, j);   // CV_8UC3  —— BGR 彩色图,最常用
image.at<cv::Vec4b>(i, j);   // CV_8UC4  —— BGRA
image.at<cv::Vec3f>(i, j);   // CV_32FC3
image.at<cv::Vec3s>(i, j);   // CV_16SC3
image.at<cv::Vec2f>(i, j);   // CV_32FC2 —— 光流场等

获取到的是一个 Vec,可以按分量访问:

cv::Vec3b px = image.at<cv::Vec3b>(i, j);
// OpenCV 默认 BGR 顺序
uchar b = px[0], g = px[1], r = px[2];
  1. 标量数组 cv::Scalar(不推荐用于 at)

at<cv::Scalar> 也能编译,但它固定按 4 个 double 去解释内存,与图像实际类型不匹配时会读到垃圾值,实际代码里几乎不用。

对应关系速查

Mat 类型 应使用的 at 模板参数
CV_8UC1 uchar
CV_8UC3 cv::Vec3b
CV_8UC4 cv::Vec4b
CV_16UC1 ushort
CV_16UC3 cv::Vec3s(注意是有符号 16 位)
CV_32FC1 float
CV_32FC3 cv::Vec3f
CV_64FC1 double

(严格说 Vec3w 才是 16 位无符号三通道的"标准"写法,但 OpenCV 没提供 Vec3w,16UC3 一般用 Vec3s 或 Vec<ushort,3>。)

关键注意事项

1)类型必须和 Mat 的实际类型匹配。at 不做类型转换,只做内存重解释。类型给错时 Debug 版 OpenCV 的 at 里有 CV_DbgAssert 会断言失败(检查 elemSize() 是否匹配),Release 下则静默读错。

2)索引顺序是 (row, col) 即 (y, x),不是 (x, y)。

3)at 是逐像素访问,带边界检查和调试断言,比指针遍历慢。性能敏感的循环建议用 image.ptr<cv::Vec3b>(i) 拿行指针再遍历。

4)获取到的 Vec3b 是值拷贝;要原地修改必须用引用:

cv::Vec3b& px = image.at<cv::Vec3b>(i, j);
px[0] = 0;  // 直接改原图

5)多通道时不要用 at<uchar>(i, j) 去读 CV_8UC3——它只会返回第一个通道(B),且 Debug 下元素大小不匹配会断言。

posted @ 2026-11-17 20:19  jsongliang  阅读(4)  评论(0)    收藏  举报