数字图像处理 复习
Digital Image Process —— Review
考试题型（大题）——1、计算（带计算器） 2、证明（设计解决算法，熟悉各种算法属性）
第二章——了解几种关系，相邻，邻接，边界判断，区域（2.5）
第三章——直方图匹配
空域——给图像和模板自己算，均值滤波，中值滤波，（高斯 公式）
二阶微分对图像处理——拉普拉斯——证明拉普拉斯算子在频域和空域效果一样
第四章——画DFT蝶形图
第五章——维纳滤波器的推导5.8，看PPT，采取随机过程或求最小二乘来证明，后者简单（可能考5.4.4）
第六章——了解模型以及转换
第八章——大题——8.1 相对数据冗余，几个术语要知道怎么算
8.2 编码——霍夫曼编码，算数编码（计算），几种编码方式要看一看
第九章——基本术语，考开操作，闭操作，腐蚀膨胀，画图⭐
看文献：endnote, zotero
第一章 绪论
1. 图像简介
当x, y, 和灰度值f是有限的离散数值时，该图像为离散图像
2. 数字图像处理简介
包括——图像增强、恢复、压缩、水印、分割等；
低级：输入和输出是图像
中级：输出是从输入图像中提取的属性
高级：对单个对象的识别的整体
3. 数字图像应用简介
图像能源——电磁能谱，声波，超声波，电子
从医疗太空到工业应用
4. 数字图像系统简介
第二章 数字图像基础
1. 人类视觉系统
......
2. 光和电磁光谱
-
可见光只是人眼可以感知的电磁光谱的一部分
-
电磁光谱根据不同形式能量的波长进行分解——伽马射线，X射线，紫外线，可见光谱，红外线，微波，无线电波
c = 波长 * 频率
-
单色光/无色光：没有颜色的光。唯一的属性是它的强度，灰度级常用来表示它的强度。
-
彩色光源的质量描述——
- 发光强度（总能量）
- 光通量（观察者从光源感受到的能量）
- 亮度
3. 图像传感与采集
4. 采样，量化和分辨率
5. 图像表示
6. 像素之间的基本关系
-
4个相邻相邻像素N4(p)
4个对角相邻像素ND(p)
8邻域——对角相邻+相邻点N8(p)
-
邻接性——4邻接，8邻接，m邻接(消除8邻接时产生的二义性)
-
路径Path，闭合通路，连通分量，连通集（区域），连通集的邻接
-
边界，图像的前景（所有的区域的并集R），背景（R的补集）
区域R的边界是这样的点的集合，这些点与R的补集中的点邻近。
-
距离度量
欧几里得距离
距离D4（城市街区距离）（菱形）\(D_{4}(p,q)=|x-s|+|y-t|\)
距离D8（棋盘距离） \(D_{8}(p,q)=max(|x-s|,|y-t|)\)
7. 数学工具
第三章 灰度变化与空间滤波
空间域：指图像平面本身，直接以图像中的像素操作为基础。主要包括灰度变换和空间滤波两类。
变换域：首先把一幅图像变换到变换域，在变换域中进行处理，然后再把处理结果返回到空间域
1. 灰度变化
-
邻域大小为1*1时，则T为一个灰度变换函数。r和s分别代表处理前后的像素值，\(s=T(r)\)。例：对比度拉伸，阈值变换
-
常用三类基本函数——线性函数（恒等函数和反转变换），对数函数（对数和反对书变换）和幂律函数（n次幂和n次根变换）。
-
图像反转 \(s=L-1-r\) (增强暗区中嵌入的白色或灰色细节)
-
对数变换 \(s=clog(1+r)\) (将一小范围的低强度值映射到更大范围的输出水平)
-
幂律(伽马)变换 \(s=cr^{\gamma}\)
-
分段线性变换
- 对比度拉伸——点\((r_{1},s_{1})\)和点\((r_{2},s_{2})\)的位置控制变换函数的形状。
- 灰度级分层
- 比特平面分层
2. 直方图处理
归一化后的直方图：\(p(r_{k}=n_{k}/MN)\)
横轴表示从0到255的色调值。
纵轴表示每个色调值中的像素数。 条形越高，具有该值的像素越多
- 直方图均衡
- \(s=T(r),p_s(s)ds=p_{r}(r)dr\)[1]
- \(s=T(r)=(L-1)\int_{0}^{r}p_r(w)\mathrm{d}w\)
- 可推导出 \(p_s(s)=\frac{1}{L-1}\)
- 离散公式为\(s_k=T(r_k)=(L-1)\sum_{j=1}^{k} p_r(r_j)\)
- 此过程增加了灰度的动态范围，并增加了图像对比度
- 注: 由于直方图均衡化的离散逼近，新的直方图并不平坦
- 直方图均衡并不是永远都能达到很好效果
- 直方图匹配🌟
- 生成具有指定直方图的已处理图像
- 直方图均衡r->s后，再做一次由s->z的映射
- \(s=T(r)=(L-1)\int_{0}^{r}p_r(w)\mathrm{d}w\)
- \(G(z)=(L-1)\int_{0}^{z}p_z(t)\mathrm{d}t=s\)
- \(z=G^{-1}(S)=G^{-1}[T(r)]\)——两次映射 r->s->z
- s->z匹配：对每一个\(s_k\)的值，寻找\(z_k\)，使得\(s_k\)与\(G(z_q)\)的值最接近
- 局部直方图处理
mG: 全局均值 \(\sigma_G\): 全局标准差
3. 空域滤波
🐬空间相关和卷积
🐬平滑线性滤波和空间模板
- 平滑滤波器用于模糊和降噪
- 平滑空间滤波器包括线性滤波器和非线性滤波器。
🐬非线性滤波
- 统计排序滤波器（如中值滤波器）
4. 锐化滤波
- 目的：突出灰度的过度部分。由数字微分来定义和实现锐化算子的各种方法。
- 一阶微分$\frac{\partial f}{\partial x}=f(x+1)-f(x) $
- 二阶微分\(\frac{\partial^2 f}{\partial^2 x}=f(x+1)+f(x-1)-2f(x)\)
- 一阶和二阶导数的特征:
- 一阶导数通常会在图像中产生较粗的边缘;
- 二阶导数对细节（例如细线，孤立点和噪声）的响应更强，在强度的阶跃和阶跃跃迁上产生双边缘响应，二阶导数的符号可用于确定到边缘的过渡是从亮到暗还是从暗到亮
- 🦌二维图像的各向同性的拉普拉斯算子：
- \(\nabla^2 f= \frac{\partial^2 f}{\partial^2 x}+\frac{\partial^2 f}{\partial^2 y}\)
- 即\(\nabla^2 f(x,y)=f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)\)
- 可用滤波器模板来实现\(\begin{bmatrix} 0&1&0 \\1& -4&1 \\0&1&0\\ \end{bmatrix}\)
- 使用拉普拉斯算子锐化图像：\(g(x,y)=f(x,y)+c[\nabla^2 f(x,y)]\) ，如果用上式滤波器，则c取-1
- 🦌非锐化掩蔽
- 1.模糊原图像得到\(\overline f(x,y)\)
- 2.从原图像中减去模糊图像（产生的差值图像成为模板）\(g_{mask}(x,y)=f(x,y)-\overline f(x,y)\)
- 3.将模板加到原图像上\(g(x,y)=f(x,y)+k*g_{mask}(x,y)\)
- k>1时，该处理成为高提升滤波
- 🦌使用一阶微分对图像锐化——梯度
- f在坐标(x,y)处的梯度定义为二维列向量\(\nabla f=\begin{bmatrix} g_x \\g_y \\ \end{bmatrix} =\begin{bmatrix} \frac{\partial f}{\partial x} \\\frac{\partial f}{\partial y} \\ \end{bmatrix}\)
- 该向量的幅值表示为M(x,y)，即\(M(x,y)=mag(\nabla f)=\sqrt{g_x^2+g_y^2}\)
- 用绝对值来近似平方根，即\(M(x,y)=|g_x|+|g_y|\)
- Roberts交叉算子\(\begin{bmatrix} -1&0 \\0&1 \end{bmatrix}\) 和\(\begin{bmatrix} 0&-1 \\1&0 \end{bmatrix}\)，即\(M(x,y)=|z_9-z_5|+|z_8-z_6|\)
- sobel算子\(\begin{bmatrix} -1&-2&-1 \\0&0&0\\1&2&1\\ \end{bmatrix}\) 和 \(\begin{bmatrix} -1&0&1 \\-2&0&2 \\-1&0&1\\ \end{bmatrix}\)
- Prewitt算子\(\begin{bmatrix} -1&-1&-1 \\0&0&0\\1&1&1\\ \end{bmatrix}\) 和 \(\begin{bmatrix} -1&0&1 \\-1&0&1 \\-1&0&1\\ \end{bmatrix}\)
第四章 频率域滤波
1. 傅里叶变换
周期为\(\Delta T\)的冲激串的傅里叶变换还是冲激串，周期为\(1/\Delta T\)
2. 离散傅里叶变换
3. 采样
4. 证明拉普拉斯算子在频域和空域效果一样
https://zhuanlan.zhihu.com/p/32792219
5. 计算DFT
第五章 图像复原与重建
目的——以预先确定的目标来改善图像。
1. 图像退化/复原的线性模型和噪声模型
- 退化模型：\(g(x,y)=h(x,y)*f(x,y)+\eta (x,y)\)
- 频率域表示：\(G(x,y)=H(x,y)F(x,y)+N(x,y)\)
- 图像噪声主要来源于图像的获取和/或传输过程
- 白噪声（傅里叶频谱为恒定值），与空间坐标无关，与图像本身无关
- 高斯噪声 \(p(z)=\frac{1}{\sqrt{2\pi }\sigma}e^{-\frac{(z-\overline z)^2}{2\sigma ^2}}\)
- 瑞利噪声，伽马噪声，指数噪声，均匀噪声，椒盐噪声 等
- 周期性噪声：图像中的周期性噪声通常是由图像采集过程中的电气或机电干扰引起的。这是一种与空间有关的噪声，通过频域滤波可以显着降低周期性噪声。
2. 空域滤波器恢复
- 均值滤波器，几何均值滤波器，谐波均值滤波器
- 反谐波均值滤波器——它非常适合减少椒盐噪声的影响。 Q> 0消除胡椒噪声，使黑色模糊；而Q <0，则使盐噪声和白色模糊。
- 顺序统计滤波器（中值，最大值，最小值），阿尔法修剪均值滤波器
- 自适应滤波器——行为会根据m*n矩形窗口定义的滤镜区域内图像的统计特性而变化。性能优于所讨论的过滤器
- 自适应局部降低噪声滤波器
- 自适应中值滤波器
3. 频率域滤波器恢复
- 带阻滤波器
- 带通滤波器
- 陷波滤波器
- 最佳陷波滤波——最小化了复原的估计值\(\hat f(x,y)\)的局部方差
4. 线性、位置不变的退化
-
输入输出关系可表示为：\(g(x,y)=H[f(x,y)]+\eta (x,y)\)
-
线性：\(H[\alpha f_1(x,y)+\beta f_2(x,y)]=\alpha H[f_1(x,y)]+\beta H[f_2(x,y)]\)
-
位置不变性： \(H[f(x-\alpha ,y-\beta )]=g(x-\alpha ,y-\beta )\)
-
由于\(f(x,y)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(\alpha,\beta)\delta(x-\alpha,y-\beta)d\alpha d\beta\)
-
则\(g(x,y)=H[f(x,y)]=H[\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(\alpha,\beta)\delta(x-\alpha,y-\beta)d\alpha d\beta]\)
-
即\(g(x,y)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(\alpha,\beta)H[\delta(x-\alpha,y-\beta)]d\alpha d\beta\)
-
称\(h(x-\alpha,y-\beta)=H[\delta(x-\alpha,y-\beta)]\)为系统H的冲激响应
-
则有加性噪声的情况下
-
\(g(x,y)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(\alpha,\beta)h(x-\alpha,y-\beta)d\alpha d\beta+\eta (x,y)=h(x,y)*f(x,y)+\eta (x,y)\)
-
频域上即\(G(u,v)=H(u,v)F(u,v)+N(u,v)\)
5. 退化函数估计和逆滤波
- 观察法，试验法，数学建模法
- 建模的一种主要方法——从基本原理开始推导数学模型
- 假设图像f(x,y)进行平面运动，x0(t)和y0(t)分别是在x,y方向上随时间变化的分量，T为曝光时间
- 则\(g(x,y)=\int_{0}^{T}f[x-x_0(t),y-y_0(t)]dt\)
- 推导见P220，得到\(H(u,v)=\int_{0}^{T}e^{-j2\pi [ux_0(t)_vy_0(t)]}\)
- 逆滤波 \(\hat F(u,v)=F(u,v)+\frac{N(u,v)}{H(u,v)}\) . 可知，即使知道退化函数H(u,v)，由于N(u,v)为知，也不能准确地复原为退化的图像。而如果退化函数是零或是非常小的值，则\(\frac{N(u,v)}{H(u,v)}\)很容易支配估计值\(\hat F(u,v)\) 。
- 解决退化函数为零或者非常小的一个办法——限制滤波的频率。通常将频率限制在原点附近分析，就减少了遇到零值的概率
6. 最小均方差滤波——维纳滤波
- 目标：找到未污染图像f的一个估计\(\hat f\)，使得它们之间的均方差最小。
- 误差度量：\(e^2=E{(f-\hat f)^2}\) ，E{}是参数的期望值
- 正交原理，随机过程的基本概念
第六章 彩色图像处理
全彩色处理 & 伪彩色处理
颜色基础
-
人类在物体中感知到的颜色取决于物体反射的光的性质。
-
人眼中的6至700万个视锥细胞可以分为三个主要的感应类别，大致对应于红色，绿色和蓝色。
-
通常用于将一种颜色与另一种颜色区分开的特征是亮度，色相和饱和度
–亮度（Brightness）：强度的消色差概念。
–色调（Hue）：光波混合中的主波长，代表观察者感知的主色。
–饱和度（Saturation）：相对纯度或白光与其色相的混合量。 -
色调和饱和度一起称为色度。形成任何特殊彩色的红、绿、蓝的数量成为三色值，并分别表示为X,Y. 这样，一种颜色就可由其三色值系数定义。
-
确定颜色的另一种方法是CIE色度图。
颜色模型
- 有几种方法可以编码颜色信息，每种方法定义不同的颜色空间。一些常用的色彩空间是
- RGB（红色，绿色，蓝色）用于描述电子屏幕上的颜色。
- CMY（青色，品红色，黄色）和CMYK（青色，品红色，黄色，黑色）用于描述打印在纸上的颜色。
- HSI（色调，饱和度，强度）是设计人员使用的直观色彩空间。
- RGB
- 是加性模型。 红色，绿色和蓝色的原色组合起来可以重现其他颜色。在RGB颜色空间中，颜色由三元组表示(r, g, b)
- CMY
- 是减性模型
- \(\begin{bmatrix} c\\m\\y\\ \end{bmatrix}=1-\begin{bmatrix} r\\g\\b\\ \end{bmatrix}\)
- 在实践中，将这些颜色组合起来进行打印会产生看起来浑浊的黑色。为了产生真黑色，添加了打印中的主要颜色，第四个颜色为黑色，从而产生了CMYK颜色模型。
- HSI
- HSI空间由一个垂直强度轴和位于该强度轴垂直的平面内的彩色点的轨迹表示。
- 通常，与红轴的\({0}^{\circ}\)角指定为0色调，从这里开始色调逆时针增长。饱和度（距垂直轴间的距离）是从原点到该点的向量长度。
- RGB和HSI的互相转换
伪彩色图像处理
第八章 图像压缩
1. 基础知识
-
图像压缩是一种减少描绘一幅图像所需数据量的技术和科学。压缩节省了存储空间和通道带宽。
-
两种压缩方案：
- 无损：解码后的图像在数值上与原始图像相同
- 有损：目的是在保持所需信号质量水平的同时最大化压缩比。（在视觉上不太重要的区域允许某些降解）
-
相对数据冗余：\(R=1-1/C,\ C=b/b'\)，（b和b'表示代表相同信息的两种表示中的比特数）
-
三种主要类型的数据冗余影响
- 编码冗余----大多数2-D灰度阵列包含的比特数多于表示灰度所需的比特数
- 空间和时间冗余----大多数二维强度阵列的像素在空间上相关，而视频序列在时间上相关
- 不相关的信息----大多数二维强度阵列包含人类视觉系统忽略的信息
-
一个具有概率P(E)的随机事件E可被说成是包含\(I(E)=-logP(E)\)单位的信息
-
则灰度信源的熵变为 \(H=-\sum_{j=1}^{J}P(a_j)logP(a_j)\)
-
且\(L_{avg}=\sum_{k=1}^{L-A}l(r_k)p_r(r_k)\)
-
保真度准则 erms为再MxN阵列上平均误差的平方的平方根
-
SNRms表示输出图像的均方信噪比
-
图像压缩系统
- 编码器+解码器
- \(f(x,y)\)->映射器->量化器->符号编码器->（存储和传输数据）->符号解码器->逆映射器->\(\hat f(x,y)\)
2.基本的压缩方法
- 霍夫曼编码
- 算术编码
第九章 形态学图像处理
形态学（形态学）：生物学的一个分支，涉及动植物的形式和结构
形态图像处理用于提取图像成分以表示和描述区域形状，例如边界，骨骼和凸包
反射：\(\hat B={w|w=-b,for \ b \in B}\)
平移：\((B)_z={c|c=b+z,for\ b\in B}\)
1. 腐蚀和膨胀
- 腐蚀：当结构元素B的原点移动到z位置时，如果B完全包含在A中，则新图像上该点为1，否则为0
- 作用：消除连通域的边界点，使边界向内收缩，滤掉小的颗粒噪声。可以将你粘连在一起的物体分离。
- 膨胀：当结构元素B的原点移动到z位置时，如果B与物体A有任何一点同时为1，则新图像上相应点为1，如果B与A完全没有相交，则新图像上点为0
- 作用：把图像骤为的背景点合并到物体中。如果两个物体距离比较近，通过膨胀可能联通到一起。
- 对偶性——对一幅图像做腐蚀运算等价于对其反图像做膨胀运算
2. 开操作与闭操作
- 开操作：先腐蚀再膨胀
- 结果：消除细小对象；再不改变形状的前提下，平滑对象的边缘
- 闭操作：先膨胀再腐蚀
- 结果：填充对象内细小空洞，连接邻近对象，在不明显改变面积前提下，平滑对象边缘
- 对偶性
3. 击中与击不中变化
\(A\otimes B=(A \ominus B_1)\bigcap(A^c\ominus B_2)\)
且B=(B1, B2), B1: Object, B2: Background
- 击中-击不中结构是用来检测形状的，不是提取边界的。
- 用击中结构去腐蚀原始图像得到击中结果X（这个过程可以理解为在原始图像中寻找和击中结构完全匹配的模块，匹配上了之后，保留匹配部分的中心元素，作为腐蚀结果的一个元素）
- 然后用击不中结构去腐蚀原始图像的补集得到击不中结果Y（即在原始图像上找到击不中结构与原始图像没有交集的位置，这个位置的元素保留，作为腐蚀结果的一个元素）
- 取X和Y的交集就是击中-击不中的结果。
4. 一些基本的形态学算法
- 边界提取
- 表示为\(\beta (A)\)的集合A的边界可以通过先用B对A腐蚀，而后执行A和腐蚀的结果之间的集合之差得到
- \(\beta (A)=A-(A\ominus B)\)
- 孔洞填充
- 用1填充所有的孔洞
- \(X_k=(X_{k-1})\bigcap A^c\), 其中B时对称结构元。如果\(X_k=X_{k-1}\), 则迭代结束，集合\(X_k\)包含所有被填充的孔洞。
- \(X_k\)和A的并集包含所有填充的孔洞及边界。
- 连通分量提取
- 凸壳或凸包
- 细化&粗化
第十章 图像分割
1. 基础知识
图像分割是将𝑅划分为𝑛个子区域𝑅1，𝑅2，...，𝑅𝑛的过程
-
\(⋃_{i=1}^nR_i =R\)
-
\(R_i\) 是一个连通集, i=1,2,…,n
-
\(R_i∩R_j=∅\) for all i and j, i≠j
-
\(Q(R_i )\)=TRUE 对于 i=1,2,…,n
-
\(Q(R_i∪R_j )\) ="FALSE"对于任何相邻区域\(𝑅_𝑖\)和\(𝑅_𝑗\)
2. 点、线和边缘检测
- 一阶微分$\frac{\partial f}{\partial x}=f(x+1)-f(x) $
- 二阶微分\(\frac{\partial^2 f}{\partial^2 x}=f(x+1)+f(x-1)-2f(x)\)
- 孤立点检测——拉普拉斯算子再取大于某个阈值的点，即为孤立点
- 直线检测
- 边缘检测步骤
- 图像平滑以减少噪音
- 边缘点检测
- 边缘定位
- 坎尼边缘检测器
- 原始图像-高斯平滑-求偏导-非最大抑制得到初步边缘-双阈值检测连接边缘-图像边缘
- 霍夫变换
3. 阈值处理
- 基本的全局阈值处理
- 为全局阈值𝑇选择一个初始估计。
- 使用Segment分割图像。 它将产生两组像素：𝐺1由强度值大于𝑇的所有像素组成，𝐺2由强度值小于T的所有像素组成
- 计算像素的平均强度值𝑚1和𝑚2
- 计算新的阈值。\(T=1/2(m_1+m_2)\)
- 重复以上步骤，直至迭代的T值的差小于某个参数
- Otsu算法
4. 基于区域的分割
- 区域生长
- 区域增长是将像素或子区域组合成更大区域的过程。
- 在难以检测边缘的嘈杂图像中，基于区域增长的技术要优于基于边缘的技术。
- 算法：……
- 区域分裂与聚合
- 在开始时将图像分割成一系列任意不相关的区域，然后将它们合并或者拆分以满足限制条件，这就是区域分裂与合并。通过分裂，可以将不同特征的区域分离开，而通过合并，可以将相同特征的区域合并起来。
- 算法：……
5. 形态学分水岭
第十一章 表示和描述
以比图像本身更合适的其他形式表示和描述嵌入图像的信息。
1. 表示
- 边界追踪
- 链码——表示由顺次连接的具有指定长度和方向的直线段组成的边界。基于线段的4连接或8连接
- 差分链码
- 边界描述
- 简单的边界描述——边界长度、-可以完全合并的最小圆圈或盒子的大小、封闭对象
- 傅里叶描述——将坐标（x，y）视为复数（x =实数部分，y =虚数部分），然后将Fourier变换应用于一系列边界点。
- s(k)=x(k)+jy(k)
浙公网安备 33010602011771号