大话成像视频教程第一套1~12集笔记

大话成像视频教程第一套

Maver Jiang

高思成像科技

1 数字成像系统概论

成像系统组成

  • 光源
  • 光学
  • 机械
  • 半导体
  • 处理器

两条基本主线

  1. 图像重建
  2. 色彩重建

颜色科学

成像系统的实时控制——3A

  • 系统的静态参数
  • 自动曝光
  • 自动对焦
  • 自动白平衡
  • 系统的动态参数

同样价格产品,每个厂家拿到的东西都差不多,但是如果想效果好,需要在软件上调。

成像系统仿真

  1. 实时仿真系统
  2. 离线仿真系统

成像系统的评价

  1. 系统延迟
  2. 图像质量

公司

  1. Image Engineering
  2. DxOMark
  3. imatest

2 CMOS sensor基础

构造

sensor floorplan

光遮断 Optical Black

Active Pixels/Driver

光子(Photon)与量子效率

QE(quantum efficiency):量子效率。

  • QE衡量某个颜色通道某个频率/波长的光子转换成电子的效率。
  • IR cutter——cut near IR
  • Crosstalk:R/G/B通道的感光分开最好。
  • Sensitivity 感光度=QE x Pixel_Size

感光过程

  • 充电——reset
  • 感光
  • 放电

读取过程
E->V —— Analog Gain放大 —— ADC

Total_time = reset_time + exposure_time + readout_time

Sensor动态范围

  1. Full Well Capacity
  2. Dark Current
  3. Fill Factor

Dynamic Range = Saturation / black level

井越深越大感光越好?容纳光子越多

Sensor时序

Noise in Sensor

  • 时域噪声:KTC Noise(readout),PhotonShotNoise,DarkCurrentNoise,电源噪声
  • 空域噪声:DefectPixel,Row/Column Noise,PRNU,DSNU

Crosstalk对noise的影响

3 颜色科学基础

成像工业涉及的:

  • 颜色科学的基本要素
  • 光源
  • 色度
  • 色差
  • 色彩空间
  • 色彩与视觉

颜色科学的三个基本要素:

  • 光源——发出光
  • 物体——反射光
  • 感受者(相机/人)——接收光

Light光源:

  • 自然光:Daylight = Sunlight + skylight,Nightlight = moonlight + startlight
  • 人造光:白炽灯,钨灯,卤素灯,荧光灯……

概念:

  • Luminance:描述发射或者反射多少光,单位nit或者cd/m2。
  • Illuminance:描述落在一个表面多少光,单位lux。

光源的属性:

  • 色温CCT:与光源不一一对应。
  • 光谱spectrum或者SPD:与光源一一对应。
  • 白点:与光源一一对应。

CIE标准光源

  • A
  • D65
  • F
  • ……

开尔文色温

光源的演色性:演色性越好的光源,越能照出物体本身的颜色。

颜色的感知/测量

反射率曲线x光源光谱x接收响应曲线=颜色值

CIE:

色彩空间color space:

  • CIE XYZ
  • CIE RGB
  • sRGB
  • YUV
  • ……

对比度

Hue 色度 色调

饱和度
亮度

Saturation

色差

Color reproduction in camera pipeline

  1. RAW:BLC,LSC,WB
  2. RGB:CFAI
  3. sRGB BT 709……:CCM
  4. sRGB BT 709……:GAMMA
  5. YCbCr:CSM

色彩与视觉

Color Constancy色彩恒常性

Color Appearance model色彩还原?

理想的色貌模型就是把所有颜色都映射到与视觉一致。

Memory Color记忆色

  • 肤色是粉橙色的
  • 草地和夏天的树都是绿色的
  • 蓝天是蓝色的
  • 血液是红色的
  • 香蕉是黄色的
  • ……

参考

标准光源_百度百科
https://baike.baidu.com/item/标准光源

色彩空间 - 维基百科,自由的百科全书
https://zh.wikipedia.org/wiki/色彩空間

4 光学Optics基础

重要概念:

  • reflection反射
  • refraction折射
  • aperture光圈
  • f-number,focal length
  • CoC, Depth of field景深
  • Tele, macro,Zoom
  • ……

球面折射sphere refraction

最简聚焦系统

牛顿,理想透镜、薄透镜公式

  • s:物距
  • s':像距
  • x:物距减焦距(s≈x)
  • x':像距减焦距
  • F:焦距
  • m:线性放大率
  • Y:物高
  • Y':像高

5 数字图像信号处理基础

图像的数字化与定点数,浮点数

定点数是整数,浮点数是小数。

练习:图像读取

Matlab Image Tool, 读raw

直方图/积分直方图/图像的直方图均衡

  • 直方图histogram
  • 直方图Cumulative histogram

Mean Brightness

contrast

查找表lookup table

thresholding

查找表练习:取反

Filter convolution:滤波卷积

  • 原图
  • 边缘
  • 锐化
  • 模糊

Filter练习:低通,高通滤波器

图像滤波

6 3A系统概述

先了解摄影,再去研究3A

热爱摄影,才从事这个行业

《美国纽约摄影学院摄影教材》

广义3A包括狭义3A和一些其他的

iris光圈

3A配合的传感器

  • sensor
  • 加速度
  • 陀螺仪
  • 温度
  • 光源
  • PD
  • 深度
  • 激光
  • GPS

离散控制系统

AEC自动白平衡控制

惯性、延迟等等因素影响控制。开环、闭环

非线性响应,a超调量,b稳态偏差,t拍数

3A运行在CPU

7 黑电平与线性化

sensor——黑电平——降噪——白平衡——CFA——……

Optically black region,sensor上完全遮蔽的部分,一般在四周。

output=input-black level

Gain by gain histogram

线性化的测量,写了一个matlab工具。

线性化曲线与矫正

线性化不良的分析

8 Green Imbalance

Ming Yan

绿不平衡

成因:半导体,microlens

像湄公河一样弯曲的噪点。

分布特征与影响的因素:光圈,焦距

如何评价Green Imbalance

Flat Field:

练习:用matlab求一幅图像的整体green imbalance的程度

Green Imbalance静态校正

动态校正

9 坏点消除

DPC

原因:

  1. 工艺:灰尘、寿命
  2. noise:sensor gain增大,温度增高等。

坏点的类型:

  • 静态坏点:不会随时间、增益等改变
  • 动态坏点:会随时间变化
  • hot pixel:比周围亮
  • dead pixel:
  • weak pixel:
  • 单坏点
  • 双坏点:
  • 多坏点

指的是单通道上相邻坏点的数量。

坏点算法评价指标:

  1. 不能损失原有图像细节
  2. 能够去除所有的坏点
  3. 不能引起artifact

静态坏点消除

一般在sensor或模组产线上进行标定,将坏点位置写入OTP。

产线上遮黑 全白等——统计出坏点位置——写入OTP——从OTP读取坏点位置——修正坏点

动态坏点检测

一种典型的坏点检测方法

比周围点平均值偏大或偏少

pipeline

动态坏点修正

一种典型的坏点修正方法

a.最简单的,中值滤波。
b.根据边缘情况,选择进行均值滤波的像素点。

corner case

  1. noise的影响。高噪声。坏点矫正调试时根据ISO进行调试。
  2. 高亮的孤立点。例如LED点阵灯等。
  3. 分辨率卡等。

10 Shading

原因:

  1. Mechanical vignetting机械安装:luma shading 安装、遮挡
  2. Optical vignetting
  • lens shading

镜片各位置和中心的透射率不同 luma shading 亮度

lens对不同光谱的shift不同 color shading

  • IR filter color shading
  1. sensor vignetting

主光轴不同、sensor各部分的对光的转换不同

不管哪个原因,结果都是中心和周围颜色不同。

结论:

  1. 对于定光圈镜头来讲,色温时影响color shading的主要因素,luma shading变化都比较小。
  2. 任何shading,都可以通过当前像素乘以gain的方式来进行校正。

Shading的评测方法

简答的认为shading只和色温有关系。

  • 测试各色温下Y1~Y5。
  • 测试各个区域。

Shading correction的难点

  1. 各模组之间存在差异。解决方法:OTP和自适应shading矫正。
  2. 和awb之间相互影响。解决方法:OTP;自适应shading矫正;自适应+改进awb。
  3. 特殊色温。解决方法:自适应+改进awb。
  4. 噪声变大。解决方法:在ISO高时,减少shading correction的力度。

Shading correction的几种模型和方法

  1. radial shading correct。最简单, 老方法。
  2. mesh shading渔网格。a.线性插值;b.用logN或多次方程拟合。应用最多的方法。
  3. auto shading correction。和AE或AWB共享统计模块,或单独做一个统计模块;用已标定好的色温,应用于统计值,取最小shading的色温。

11 SNR与Raw Denoise

主要降噪模块放在raw domain。另外有yuv domain。。

Raw Domain噪声特性

demosaic后的噪声:结构化噪声

根据raw domain的特性得到的raw denoise的相关启发

  1. raw domain的噪声不是单纯的高斯噪声,
  2. ……

降噪的评价标准

  • PSNR:峰值信噪比
  • SNR:信噪比

SNR的标准是:dB越高,降噪程度越好。

一般会出现两种问题:

  1. SNR好并不能代表真实的视觉噪声。
  2. SNR好并不能代表最终图像质量好。可能会过度涂抹。

中低频被过度模糊

降噪时要关注中低频的噪声。枯叶图。

同样的方差,可能有完全不同的视觉效果。

visual noise(ISO 15739)

人眼对彩噪声和亮度噪声敏感不一样。

CPIQ

频率高的保护好,频率低的糊了?频率高是什么?

12 Dynamic Range与Tone Mapping

Dynamic Range动态范围

定义:
DR=up.sat/up.min

up.min最小值并不是black level,一般是SNR20时的。

如果换成dB的表示,需要加log10.

Tone Mapping

动态范围压缩

单位:candela/m2

  • 传统显示屏 100:1 cd/m2
  • 真实世界 100000000:1 cd/m2
  • 人眼 10000:1 cd/m2

定义:高比特转到低比特,但视觉上无损。

JND理论

HDR图像的来源:

  • a. 高bit HDR sensor
  • b. 多曝光。不同曝光值和相同曝光值。
  • c. alternate row、zigzag HDR等

Tone Mapping的分类:

  1. global tone mapping。a.单一tone mapping曲线。双边滤波tone mapping。
  2. local tone mapping。虚拟曝光;local gamma。

问题:

  1. 局部对比度的缺失。
  2. 饱和度降低。
  3. halo
  4. 时域不平滑。
  5. 会引起噪声增大。
  6. tone mapping是个系统工程,且和应用领域关系很大。

思考题:
在安防和移动手机领域的tone mapping有何异同点?在算法上有什么差异呢?

参考

大话成像数字成像系统专业技术培训视频教程|matlab专家培训教程
http://v.xue.taobao.com/learn.htm?spm=2013.1.0.0.3d0d207775wPBr&courseId=96138

大话成像cmos sensor测试测量与国际标准视频教程|matlab专家培训
http://v.xue.taobao.com/learn.htm?spm=2013.1.0.0.3a9621d305BUrE&courseId=105335

大话成像图像质量测试测量与国际标准培训课程Matlab培训专家课程
http://v.xue.taobao.com/learn.htm?spm=2013.1.0.0.67666e28F62P7I&courseId=112146

posted @ 2019-12-30 20:57  奥巴荣  阅读(2314)  评论(3编辑  收藏