数字图像处理(2)
数字图像处理(二)
透视转换 Perspective Transform
计算机只能处理二维的图片,所以我们需要将一个三维的物体投放到二维平面内。
例如y与投放的y'(y', the projected height of the object, is related to the real height y)
x的处理关系与y类似,所以有:
透视转换的性质:
1.近大远小
2.对于三维物体,Z坐标不是常数,因此会引入形状失真。(一个正方形的窗户,如果你不是正对着它看,而是从侧面看,拍出来的照片里它是梯形)
3.三维世界中的直线映射到图像中的直线,其中的线条具有消失点。(站在笔直的铁轨中间看远方,铁轨是直的,但两条铁轨在远处看起来汇聚成了一点。)
4.图中的平行线映射到图像中的汇聚线。它们具有相同的消失点。( 在现实中互相平行的线(比如两条平行的高速公路边线),在照片里会看起来越来越近,最终汇聚在一起(也就是上面的消失点))
5.距离和角度不会被保持。
正交投影 (Orthographic Projection):当视点位于 z 轴方向的无穷远处时,透视变换的一个特例。所有物体被投影到像面上时,其 x 与 y 坐标均不发生畸变。
弱透视投影 (Weak Perspective):弱透视意味着带有缩放因子C 的正交投影。绝对的正交投影(相机在无穷远)在现实中很难完全实现。但是,如果物体离相机比较远,且物体本身的深度变化不大(比如你拍远处的一栋楼,楼顶和楼底离你的距离差不多),这时候透视效果很微弱。我们可以用一个折中的模型——弱透视。它假设物体所有的点都在同一个深度平面上,先把这个平面按比例缩小或放大(缩放因子),然后再进行正交投影。
- 远心镜头(Telecentric lens)是一种特殊设计的昂贵镜头,它能强行让进入镜头的光线变成平行光。
- 效果: 用远心镜头拍出来的照片,几乎没有透视失真。不管物体离镜头稍微远一点还是近一点,它在照片里的大小几乎是一样的。
使用齐次坐标进行透视变换 Using homogenous coordinates the perspective transform
f表示像平面与视点之间的距离;D 表示视点与原点之间的距离。其主要优势在于无需进行除法运算,因此在图形渲染、视频游戏等领域被广泛采用。
这里的投影计算隐含了一个理想化前提:相机的主点(Principal Point)位于图像的正中心。也就是说,三维空间的光心、Z轴(光轴)以及二维成像平面的几何中心,这三者是严格重合的。因此,投影计算不需要引入中心偏移量(即忽略了主点偏移)
Transformation between the same points under different perspective views are known as homographies(单应变换)
同一平面上的任意两幅图像均可通过单应变换相关联。若能找到四个对应点(例如四个角点),则该变换即可确定。
- 什么是单应性(Homography)? 简单来说,就是“把一张平面图像映射到另一个平面上的变换”。
在齐次坐标系中表示为 3×3 矩阵,通常称为变换矩阵。
Affine transforms 仿射变化:只要满足“平行线保持平行”的变换,都属于仿射变换。它包含以下这几种基础动作,以及它们的任意组合:
- 平移(Translation): 把图片整体挪个位置。
- 缩放(Scaling): 把图片放大或缩小(X轴和Y轴可以缩放的倍数不一样,比如拉长)。
- 旋转(Rotation): 把图片转个角度。
- 错切(Shear): 把图片推歪(比如把正方形推成平行四边形,像斜体字)。
算出来的 w 永远等于 1,因为没有被除以深度(没有除以 w),所以图像不会产生“近大远小”的透视失真。 这就是为什么最后一行是 [0, 0, 1] 的矩阵,代表的是仿射变换(平行线永远平行,没有消失点)
homograph 里面有8个自由度,所以我们需要4个确定的点,affine transform需要3个。
图像的表示Image Representation
Image quantisation:
- 真实世界(左上角图): 假设这是一个光滑的、黑白渐变的物体(连续图像)。
- 扫描线(Scan Line): 就像用一条水平线从A切到B,我们来看看这条线上的颜色是怎么变化的。
- 连续信号(中上图,Sampling): 把切出来的线拉直,横轴是位置(A到B),纵轴是亮度(黑到白)。这是一条平滑连续的曲线,代表现实中颜色是无缝过渡的。
- 采样(Sampling,左下图): 我们不能记录无限个点。于是我们在横轴(空间位置)上等距离地打孔(画竖线)。这叫空间采样。 我们只在这些特定位置记录亮度。
- 量化(Quantization,中下图): 即使我们确定了位置,亮度也可能是连续的小数(比如亮度 123.4567...)。计算机只能存整数。于是我们把纵轴(亮度)切成一段一段的(比如分成 0-255 个等级)。将落在同一个等级里的亮度,统统变成该等级的一个整数值。这叫灰度级量化。
- 数字图像(右侧两张图):
- 第一张图:把量化和采样后的点组合起来,看起来还是圆滑的,但那是因为分辨率高。
- 第二张图:当我们把网格画出来,你会发现,原本圆滑的边缘变成了马赛克(像素方块)。这就是计算机看到的最终图像:一个由数字组成的二维矩阵。
怎样采样才不会失真?
奈奎斯特定理(黄金法则)
若输入为带宽受限信号,其最高频率为 ΩN,The input can be uniquely determined if sampling rate ΩS>2ΩN
(如果采样率 ΩS 大于最大频率的两倍,输入信号就能被唯一确定)
line width = W cm (线宽 = W厘米),space width = W cm (间距 = W厘米),在1cm单位中就能识别出来1/2w个线对。
情况A:线条很粗。假设黑线宽 W = 0.25 厘米,白线宽也是 0.25 厘米。一个线对总宽 = 0.5 厘米。
在 1 厘米里,能放 1 / 0.5 = 2 个线对。所以我们说,分辨率是 2 线对/厘米。这说明清晰度一般。
情况B:线条很细。假设黑线宽 W = 0.01 厘米(非常细),白线宽也是 0.01 厘米。一个线对总宽 = 0.02 厘米。
在 1 厘米里,能放 1 / 0.02 = 50 个线对。所以我们说,分辨率是 50 线对/厘米。这说明清晰度极高。
例如1cm有50个线对,那么根据奈奎斯特定理,那么1cm内就需要采集100个像素点。这意味着在这个1cm的范围内,像素间距(采样间隔)必须小于等于 0.01 cm 才能勉强分辨出这50个线对
(实际需要更高: 奈奎斯特频率(2倍)是理论极限。在实际应用中,为了获得良好的视觉效果(避免摩尔纹、边缘模糊),通常需要 2.52.5 倍甚至 33 倍以上的采样率。所以实际可能需要 125 到 150 个像素点才能“看得很清楚”。)
尺寸为 M × N 的 L 级数字图像:空间分辨率为 M × N 像素,灰度分辨率为 L 个级别(0,1,2…,L-1)
灰度级分辨率 (Gray-level resolution) L 级:这决定了图像的“明暗细腻程度”。每个像素用多少位(bit)来记录亮度。图片中标注灰度级为 0,1,2,...,L−1。 如果是8位图像,那么 L=2的8次方=256L。即亮度从 0(纯黑)到 255(纯白)分为256个等级。如果是1位图像,就只有 0(黑)和 1(白)两个级别。
左边的网格图是把图像抽象成了一个二维坐标系:
-
横轴 y 表示列(从 0 到N−1)。
-
纵轴 x 表示行(从 0 到M−1)。
-
左上角的顶点标着 Origin (原点),坐标为 (0,0)。注意这里的坐标轴方向:x轴向下,y轴向右,这符合很多图像处理软件(如MATLAB、Python的NumPy)的数组索引习惯。
-
网格上的每一个黑点代表一个像素 (One pixel)。
-
每个像素对应一个坐标 (x,y),并带有特定的亮度值 f(x,y)。
图像即矩阵:既然图像被划分成了 M 行 N列的网格,那么它就可以用一个 M×N的数学矩阵来表示:
- 矩阵中的每一个元素f(x,y) 就是一个具体的数值,代表对应位置像素的灰度值(亮度)。
- 这就是计算机处理图像的本质:计算机眼里的图像,其实就是一个庞大的数字表格。
- MATLAB 这种编程软件(以及很多数学软件),它的矩阵索引是从 1 开始的。
CCIR Video Standard:
625 TV lines (PAL, CCIR-601 NTSC):这是理论上规定的总高度。电视屏幕从上到下被划分成了 625 条横线。
576 active TV lines :只保留中间 576 行用来显示真正的图像。所以,真正能在电视上看到的画面高度是 576 行。(电视台发射信号、电视机接收信号都需要时间。在电子束从屏幕最底下“飞”回最上面准备画下一张时,这段时间是不能用来画画的(这叫“消隐期”)。)
Two interlaced fields of 312.5 lines:因为总共有625行,分成两拨画,每拨就是 312.5 行。老电视在 1/50 秒(0.02秒)画完奇数行,然后立刻在下一个 1/50 秒(0.02秒)画偶数行。因为 0.02 秒远远小于人眼 0.1 秒的视觉暂留时间,所以当电视机开始画偶数行时,人眼里的奇数行还没消失。
Aspect ratio (transmitted) = 4:3 (Displayed as 5:4):画面长宽的比例
Field rate = 50 Hz:每秒钟扫描 50 个场。这与欧洲的交流电频率(50Hz)一致,是为了防止电源干扰在画面上产生滚动条纹
Frame (picture) rate = 25 Hz:两个场(奇数场+偶数场)拼成一帧完整的画面。因为每秒有 50 个场,所以完整的画面(帧)每秒出现 25 次。这就是我们常说的 PAL 制式是 25 帧/秒。
Effective resolution = 767 x 576 (luminance):垂直方向: 576 条有效行。水平方向:标准采样率下,每行采样 767 个有效像素.
HDTV
Two formats now in use
– 720p - 1280x720 pixels @ 50/60Hz Progressive
– 1080i - 1920x1080 pixels @ 50/60Hz Interlaced
– 1080p -1920x1080 pixels @50/60Hz Progressive (Full HD)
p 代表逐行扫描。每秒刷新 50 次或 60 次;I表示:全高清的隔行扫描版。

浙公网安备 33010602011771号