ISP关键模块剖析：Demosaic

微信视频号：sph0RgSyDYV47z6

快手号：4874645212

抖音号：dy0so323fq2w

小红书号：95619019828

B站1：UID:3546863642871878

B站2：UID: 3546955410049087

颜色复原的起点，ISP成像的第一道魔术

为什么Demosaic是ISP的关键之一？ Sensor拍到的图像不是五彩斑斓的RGB，而是被马赛克化的“单通道图”： 每个像素只记录红、绿、蓝三色之一，排列成Bayer Pattern。 而 Demosaic（去马赛克）模块的任务，就是把这张“颜色缺失的原图”，复原成全通道的RGB图像。 这一步做不好，你再强的HDR、再锐的锐化、再准的色彩校正……都是白搭。

什么是Bayer图？ 主流Sensor（尤其是CMOS）输出的图像是这样一种分布：

 

 

添加图片注释，不超过 140 字（可选）

也就是说：

• 每个像素只能记录一个颜色分量；
• 绿色像素最多, 占比50%（人眼对绿更敏感）；
• 彩色图像需要插值补全另外两个颜色通道；

带你认识CFA种类 值得注意的是，除了最常见的Bayer pattern, 根据应用的不同，还发展出很多其他的CFA, 比如应用于手机的Quad Bayer, RGBW, RYYB, 9-Cell等, 应用于汽车、安防等的RCCC, RCCB, RGBIr等。

 

 

添加图片注释，不超过 140 字（可选）

Quad Bayer

 

 

添加图片注释，不超过 140 字（可选）

RGBW Bayer

 

 

添加图片注释，不超过 140 字（可选）

RGBW 4x4

 

 

添加图片注释，不超过 140 字（可选）

RYYB 2x2

 

 

添加图片注释，不超过 140 字（可选）

RYYB 4x4

 

 

添加图片注释，不超过 140 字（可选）

9-Cell

 

 

添加图片注释，不超过 140 字（可选）

RCCC

 

 

添加图片注释，不超过 140 字（可选）

RCCB

 

 

添加图片注释，不超过 140 字（可选）

RGBIr

Demosaic 要做什么？ 简单来说： 输入：Raw图像（本文特指Bayer pattern, 其他pattern暂不考虑）（每个像素只有 R / G / B 中一个）；

• 输出：每个像素都有完整的 RGB 三通道值的彩色图；

插值的方式很多，从最原始的“线性插值”，到复杂的“边缘感知、自适应权重、AI增强”等。

何评价Demosaic的好坏？ Demosaic 是图像信号链的“第一道还原魔术”，它好不好，直接影响整张图的观感。工程实践中，不能单凭眼睛看(主观评价)， 还要经得起定量指标（客观评价）。 客观指标常用的有：PSNR(峰值信噪比), SSIM（结构相似度）, MTF50/MTF10等。 主观评价一般使用人眼观察场景图：比如ISO12233. 还需关注皮肤、人脸、天空等。

 

 

添加图片注释，不超过 140 字（可选）

Demosaic为什么难做？ 难点一：信息先天缺失，插值必带误差 大家都知道采样定理。CFA是对真实世界的采样，Demosaic是对真实视界的恢复。因为自然世界一定存在大于采样频率两倍的信号，所以恢复过程一定会导致频谱的混叠。

• 输入只有1/3信息（R/G/B三分之一），其余都需要“猜”；
• 真正的颜色分布无法精确知道，只能靠插值估计；
• 这是一道不确定的重建问题，没有绝对标准答案。

难点二：边缘区域插值误差容易视觉放大，产生色彩污染 最容易出现伪色的区域正是：

• 黑白边缘；
• 高频纹理（如文字、格子）；
• 斜边或斜纹图案；

难点三：在面积/功耗受限下，还要高质量 + 高吞吐 实际项目中:

• 实时处理每秒30/60帧图像；
• 分辨率动辄2K/4K甚至8K；
• 延迟尽可能小，不能成为瓶颈；
• 对面积、功耗、时钟频率有严格限制； 难点四：算法必须在主观（好看）与客观（准确）之间做平衡
• 优化PSNR不代表主观好看；
• 提高清晰度可能带来伪色；
• 不同场景（人脸 vs 城市夜景）对Demosaic的要求不一样；

Demosaic 的三步走模型 第一步：判定插值方向 在图像边缘，不能简单平均插值，否则会模糊或污染边缘细节。因此需要先判断：当前像素周围是否存在边缘？方向在哪？ 常见算法：梯度法（比较上下、左右、对角方向的亮度变化，选变动小的方向进行插值） 关键点：

• 准确判断边缘方向，是减少伪色、保留细节的关键；
• 若判定错误，将导致锯齿、色彩泄露、细节模糊等问题。 第二步：根据判定方向进行颜色插值 经典的插值方法：Hamilton & Adams 算法 注：Hamilton & Adams 算法是 Demosaic 中的“轻量级边缘感知插值代表” 第三步：后处理 插值是“预测值”，仍存在误差或伪色，需要进一步修正，以提升视觉质量和物理一致性。

Demosaic 的硬件实现挑战 Demosaic 的挑战，不在于“怎么插值”，而在于： 如何在高分辨率、高吞吐、低资源预算下，实时流畅地完成插值 + 对齐 + 控制 + 输出。 1. 多行访问需要Line Buffer架构支持 2. 数据通路并行性设计

• 插值核设计为Fully Pipelined；
• 插值路径常用乘法器/加法器 → 需要优化 bit width 和 rounding；

3. 功耗 & 面积资源限制 4. 调试困难，验证难度高

总结： Demosaic 是一颗ISP能否“成像真实”的起点。 它的实现需要 算法理解 × 时序把握 × 资源管理 × 工程抽象 四维融合。 它既是技术细节的聚焦点，也是团队能力的“分水岭”。

 

微信视频号：sph0RgSyDYV47z6

快手号：4874645212

抖音号：dy0so323fq2w

小红书号：95619019828

B站1：UID:3546863642871878

B站2：UID: 3546955410049087

 

参考文献链接

ISP关键模块剖析：Demosaic