1-1图像读取与整数平移匹配
1-1图像读取与整数平移匹配
- 读取一张灰度散斑图。
- 选一个子区。
- 制作一张向右平移 5 像素、向下平移 3 像素的图。
- 在搜索范围内逐个位置计算灰度差平方和。
- 找出最小值对应的位置。
此时只需理解:
\(SSD(u,v)=\sum [f(x,y)-g(x+u,y+v)]^2\)
它表达的就是:“把图块移动到这里,两块图案有多不像?”
通关标准:自己写的搜索能找回 ((5,3)),并且你能解释每一个循环。
之后再学习零均值归一化,理解为什么图像亮一点、暗一点时,直接比较灰度会出问题。最后用 cv::matchTemplate 对照。
void test1() {
/**
读取一张灰度散斑图。
选一个子区。
制作一张向右平移 5 像素、向下平移 3 像素的图。
在搜索范围内逐个位置计算灰度差平方和。
找出最小值对应的位置。
*/
cv::Mat img = cv::imread(R"(C:\Users\xlab-\Desktop\3D_DIC_CPP _GPT\img\000000000000.png)", cv::IMREAD_GRAYSCALE);
cv::Mat image;
cv::resize(img, image, cv::Size(img.cols / 2, img.rows / 2));
int tx = 5, ty = 3;
cv::Mat translationMatrix = (cv::Mat_<double>(2, 3) << 1, 0, tx, 0, 1, ty);
cv::Mat translatedImage;
cv::warpAffine(image, translatedImage, translationMatrix, image.size());
// 1)选取一个子区
int subW = 40, subH = 40;
int subX = image.cols / 2 - subW / 2; // 子区左上角x
int subY = image.rows / 2 - subH / 2; // 子区左上角y
cv::Mat templ = image(cv::Rect(subX, subY, subW, subH)); //这是浅拷贝,共享数据
// 2)设置搜索范围
int searchRadius = 10;
double minSSD = std::numeric_limits<double>::max();
int bestU = 0, bestV = 0;
// 3)遍历候选位移
for (int v = -searchRadius; v <= searchRadius; ++v) { // 垂直位移v
for (int u = -searchRadius; u <= searchRadius; ++u) { // 水平位移u
int gx = subX + u;
int gy = subY + v;
// 检查,不能越过图像
if (gx<0 || gx + subX>translatedImage.cols || gy<0 || gy + subY>translatedImage.rows) {
continue;
}
// 4)计算每个候选位移的SSD
double ssd = 0.0;
for (int i = 0; i < subW; ++i) {
for (int j = 0; j < subH; ++j) {
ssd += pow(templ.at<uchar>(j, i) - translatedImage.at<uchar>(gy + j, gx + i), 2);
}
}
if (ssd < minSSD) {
minSSD = ssd;
bestU = u;
bestV = v;
}
}
}
std::cout << "位移:u = " << bestU << ", v = " << bestV << std::endl;
std::cout << "最小SSD = " << minSSD << std::endl;
}
输出:
位移:u = 5, v = 3
最小SSD = 0
cv::matchTemplate
cv::matchTemplate是OpenCV提供的模板匹配函数,它把”滑动窗口+相似度计算+找极值“这一整套流程封装好了。我手写的SSD搜索,本质上就是matchTemplate在method=TM_SQDIFF时的行为。
函数原型
void cv::matchTemplate(
InputArray image, // 待搜索的大图 g
InputArray templ, // 模板小图 f
OutputArray result, // 输出相似度图
int method, // 匹配方法
InputArray mask = noArray() // 可选掩码
);
image:搜索图,类型CV_8U或CV_32F,通道数 1、3 或 4。templ:模板,类型和通道数必须与image相同,尺寸不能大于image。result:输出结果图,尺寸为(W - w + 1) × (H - h + 1),其中W,H是大图宽高,w,h是模板宽高。每个位置存的是该对齐位置下的匹配得分。method:匹配方法,决定result中数值的含义。
与我手写搜索的对应关系
我手写的循环:
for (int v = -searchRadius; v <= searchRadius; ++v)
for (int u = -searchRadius; u <= searchRadius; ++u)
ssd = sum((f(x,y) - g(x+u, y+v))^2);
matchTemplate 做的是:
result(v,u) = SSD(templ, image中以(u,v)为左上角的子区)
其中,u从0到W-w,v从0到H-h。也就是说,matchTemplate默认搜索整个大图,而不是我指定的[-10,10]的小窗口。要限定搜索范围,需要先剪裁image的ROI,或者只对result的局部区域找极值。
常用匹配方法
| 方法 | 公式含义 | 最优值 | 备注 |
|---|---|---|---|
TM_SQDIFF |
Σ(f - g)^2 |
最小值 | 就是你的 SSD,值越小越像,0 表示完全相同 |
TM_SQDIFF_NORMED |
归一化 SSD | 最小值 | 对亮度尺度更鲁棒,值在 [0,1] |
TM_CCORR |
Σ(f · g) |
最大值 | 互相关,对亮区域敏感,容易误匹配 |
TM_CCORR_NORMED |
归一化互相关 | 最大值 | 比 CCORR 稳 |
TM_CCOEFF |
Σ((f-f̄)(g-ḡ)) |
最大值 | 去均值互相关,对亮度平移不敏感 |
TM_CCOEFF_NORMED |
归一化去均值互相关 | 最大值 | 最常用,值在 [-1,1],1 表示完美匹配 |
做 DIC / 散斑相关时,TM_SQDIFF 和 TM_CCOEFF_NORMED 最常用。要和我手写的 SSD 对照,就用 TM_SQDIFF。
用法
matchTemplate只输出result,不会直接告诉我们坐标,需要自己找极值:
cv::Mat result;
cv::matchTemplate(image, templ, result, cv::TM_SQDIFF);
double minVal, maxVal;
cv::Point minLoc, maxLoc;
cv::minMaxLoc(result, &minVal, &maxVal, &minLoc, &maxLoc);
// TM_SQDIFF / TM_SQDIFF_NORMED用minLoc,其他方法用maxLoC
cv::Point matchLoc = minLoc;
int u = minLoc.x - subX;
int v = minLoc.y - subY;
std::cout << "matchTemplate 最佳位移: u = " << u << ", v = " << v << std::endl;
std::cout << "最小 SSD = " << minVal << std::endl;
注意 minLoc 是模板左上角在大图中的坐标,不是位移量。位移量要用它减去模板在参考图中的原始左上角坐标。
限定搜索范围的做法
matchTemplate 没有 searchRadius 参数。要只搜 [-10, 10],有两种方式:
方式一:裁剪搜索图 ROI
int margin = 10;
// 自己画个图就知道为什么是subW + 2*margin, subH + 2*margin了
cv::Rect searchROI(subX - margin, subY - margin, subW + 2*margin, subH + 2*margin);
// 注意ROI不能越界
cv::Mat searchRegion = translatedImage(searchROI);
cv::matchTemplate(searchRegion, templ, result, cv::TM_SQDIFF);
cv::MaxLoc(result, &minVal, &maxVal, &minLoc, &maxLoc);
// 此时minLoc是相对于searchROI左上角的坐标
// 全局坐标=minLoc+searchROI.tl()
int u = (minLoc.x + searchROI.x) - subX;
int v = (minLoc.y + searchROI.y) - subY;
方式二:全图匹配后只在result的局部区域找极值
cv::matchTemplate(translatedImage, templ, result, cv::TM_SQDIFF);
// 要限制u,v在[-10,10]之间,就在result的[subX-10,subX+10] * [subY-10,subY+10]内找
int r0 = subY-10, r1 = subY+10;
int c0 = subX-10, c1 = subX+10;
cv::Mat subResult = result(cv::Rect(c0, r0, c1 - c0 + 1, r1 - r0 + 1));
cv::minMaxLoc(subResult, &minVal, &maxVal, &minLoc, &maxLoc);
// 全局result坐标=minLoc+(c0,r0)
注意事项
- 方法决定找最小值还是最大值:
TM_SQDIFF/TM_SQDIFF_NORMED找minLoc,其余找maxLoc。用错会得到“最不像”的位置。 result尺寸不是原图尺寸:是(W-w+1) × (H-h+1),所以result.at(v, u)对应模板左上角在(u, v)。- 模板不能大于搜索图,否则抛异常。
warpAffine黑边会干扰:如果搜索区域包含平移产生的黑边,TM_SQDIFF可能把黑边当匹配。你的中心子区 + 小搜索范围不会碰到。- 整数平移下
TM_SQDIFF最小值应为 0:因为warpAffine整数平移不改变像素值,匹配位置像素完全相同。若minVal不接近 0,检查是否用了IMREAD_GRAYSCALE、模板是否越界、搜索图是否有黑边。 - 亚像素:
matchTemplate只给整数像素位置。DIC 要做亚像素,通常先用它粗定位,再用你手写的 SSD/IC-GN 做亚像素优化。
opencv小知识点:
一、图片平移
cv::Mat_<double>(2, 3) // 构造一个 2 行 3 列、元素类型为 double 的矩阵
<< 1, 0, tx, 0, 1, ty // 按行优先依次填入 6 个值
整体表达式的结果是一个已经填好数据的 cv::Mat,然后赋值给 translationMatrix。
填入后的矩阵内容:逗号初始化是按行优先(row-major)填充的,6 个值对应 2×3 = 6 个元素:
即:
\(M = \begin{bmatrix} 1 & 0 & t_x \\ 0 & 1 & t_y \end{bmatrix}\)
当 tx=5, ty=3 时:
[ 1 0 5 ]
[ 0 1 3 ]
warpAffine 要求仿射变换矩阵是 2×3。对平移而言,标准形式是:
\(\begin{bmatrix} x' \\ y' \end{bmatrix} = \begin{bmatrix} 1 & 0 & t_x \\ 0 & 1 & t_y \end{bmatrix} \begin{bmatrix} x \\ y \\ 1 \end{bmatrix} = \begin{bmatrix} x + t_x \\ y + t_y \end{bmatrix}\)
所以左上角 2×2 是单位矩阵(不缩放、不旋转),第三列是平移量 tx, ty。
二、cv::Mat::at<T>(i, j)
cv::Mat::at<T>(i, j) 的模板参数 T 决定了如何解释这块内存,本质上只是告诉你"从这里读出 sizeof(T) 个字节并当成 T 类型返回"。所以能给的类型取决于 image 的 type()(通道数 + 元素深度),给错了不会编译报错,但会读错数据。
常见可给的类型
- 单通道图(
CV_8UC1、CV_16UC1、CV_32FC1等)
image.at<uchar>(i, j); // CV_8U 灰度图,0~255
image.at<schar>(i, j); // CV_8S
image.at<ushort>(i, j); // CV_16U 深度图常见
image.at<short>(i, j); // CV_16S
image.at<int>(i, j); // CV_32S
image.at<float>(i, j); // CV_32F
image.at<double>(i, j); // CV_64F
获取到的是一个标量(该像素在该通道的数值)。
- 多通道图(用
cv::Vec)
cv::Vec<T, N> 表示 N 个 T 类型分量,N 必须等于通道数:
image.at<cv::Vec3b>(i, j); // CV_8UC3 —— BGR 彩色图,最常用
image.at<cv::Vec4b>(i, j); // CV_8UC4 —— BGRA
image.at<cv::Vec3f>(i, j); // CV_32FC3
image.at<cv::Vec3s>(i, j); // CV_16SC3
image.at<cv::Vec2f>(i, j); // CV_32FC2 —— 光流场等
获取到的是一个 Vec,可以按分量访问:
cv::Vec3b px = image.at<cv::Vec3b>(i, j);
// OpenCV 默认 BGR 顺序
uchar b = px[0], g = px[1], r = px[2];
- 标量数组
cv::Scalar(不推荐用于at)
at<cv::Scalar> 也能编译,但它固定按 4 个 double 去解释内存,与图像实际类型不匹配时会读到垃圾值,实际代码里几乎不用。
对应关系速查
| Mat 类型 | 应使用的 at 模板参数 |
|---|---|
| CV_8UC1 | uchar |
| CV_8UC3 | cv::Vec3b |
| CV_8UC4 | cv::Vec4b |
| CV_16UC1 | ushort |
| CV_16UC3 | cv::Vec3s(注意是有符号 16 位) |
| CV_32FC1 | float |
| CV_32FC3 | cv::Vec3f |
| CV_64FC1 | double |
(严格说 Vec3w 才是 16 位无符号三通道的"标准"写法,但 OpenCV 没提供 Vec3w,16UC3 一般用 Vec3s 或 Vec<ushort,3>。)
关键注意事项
1)类型必须和 Mat 的实际类型匹配。at 不做类型转换,只做内存重解释。类型给错时 Debug 版 OpenCV 的 at 里有 CV_DbgAssert 会断言失败(检查 elemSize() 是否匹配),Release 下则静默读错。
2)索引顺序是 (row, col) 即 (y, x),不是 (x, y)。
3)at 是逐像素访问,带边界检查和调试断言,比指针遍历慢。性能敏感的循环建议用 image.ptr<cv::Vec3b>(i) 拿行指针再遍历。
4)获取到的 Vec3b 是值拷贝;要原地修改必须用引用:
cv::Vec3b& px = image.at<cv::Vec3b>(i, j);
px[0] = 0; // 直接改原图
5)多通道时不要用 at<uchar>(i, j) 去读 CV_8UC3——它只会返回第一个通道(B),且 Debug 下元素大小不匹配会断言。

浙公网安备 33010602011771号