ISP 论文解读|华为: 单像素多光谱AWB(IJCV 2024)

微信视频号：sph0RgSyDYV47z6

快手号：4874645212

抖音号：dy0so323fq2w

小红书号：95619019828

B站1：UID:3546863642871878

B站2：UID: 3546955410049087

 

其实按照发展顺序，它应该是第一篇。

这篇论文首次从实验上严谨地证明了多光谱AWB在干扰色（无灰点）场景下的可行性，奠定了后续研究的基础。

 

 

添加图片注释，不超过 140 字（可选）

其动机逻辑可以分为三步：1. RGB 的局限 仅凭 RGB 三通道不足以准确表征光源信息。比如，它无法区分 LED 与日光等具有明显光谱差异的光源，在干扰色的场景下尤其容易失效，所谓同色异谱。

2. 场景平均光谱与光源的关联 作者利用单点多光谱传感器，获得了场景的平均光谱响应（即 物体反射率 × 光源光谱 × 传感器光谱灵敏度 的积分）。结果发现，这个平均光谱的形态与真实光源光谱非常接近：图中黑色实线为真实光源，虚线为传感器测得的平均光谱。

这说明：通过场景平均光谱来推测光源是可行的。多通道传感器测得的就是经平均光谱的采样，这样就引入了多通道传感器。

 

 

添加图片注释，不超过 140 字（可选）

3. 关键通道与光谱指纹 进一步的实验表明，并非所有光谱通道同等重要。作者采用“逐一去掉单通道，再观察误差变化”的方法发现：某些特定通道一旦缺失，误差会大幅增加（提升幅度在 30%–300% 之间）。

这意味着，少数关键波段即可承担区分光源的主要作用，它们可以被视作光源的 “光谱指纹”。

 

 

添加图片注释，不超过 140 字（可选）

由此，作者得出几个关键结论：

• • 多通道采样能够有效表征光源信息，即便在无灰点场景下也同样适用；
• • 少数关键通道即可形成光源的“指纹”，无需完整光谱；
• • 在获得多通道平均光谱后，只需选择合适的回归模型，就可以推断出光源白点。

接下来，论文的重点就转向：如何在实际条件下构造这些光谱信息，并基于此验证上述假设。

01 方法

由于我们手头只有 RGB 图像，为了验证前面提出的光谱假设，作者的核心工作就是构造一个“伪多光谱数据”流程。整体逻辑分为四步：

1. 反推光源光谱 已知输入为 RAW-RGB、white point、sensor SPD（光谱灵敏度曲线）以及候选光源光谱集合。通过这些信息，可以从 RGB 数据反推出可能的光源光谱。

举例：如果一幅 RAW 图像有 100 个像素，起始数据维度就是 100 × 3。

2. 反推物体反射谱 在得到光源光谱的前提下，进一步可以求解物体的反射率光谱。这里作者采用 31 维（400–700nm，10nm 采样）来表示反射谱。

于是数据规模扩展为 100 × 31。

3. 构造虚拟多光谱传感器数据 将反射谱与光源光谱结合，再与一个设计好的“虚拟多通道传感器”光谱响应函数相乘，从而得到模拟的多光谱观测。

例如，如果虚拟传感器包含 14 个通道，那么数据就变为 100 × 14。

4. 取平均并回归白点 将上述 100 × 14 的多光谱数据在空间维度上做平均，得到 1 × 14 的场景平均光谱采样，这也是论文标题中“single spectral”的含义。

然后，以此 1 × 14 向量作为输入，使用一个 MLP 回归模型，预测对应的白点 RGB（1 × 3），与 ground truth 对比训练。

为什么要做平均？这正是前文 motivation 的延续：场景平均光谱与真实光源光谱高度相关，因此取平均后依然能保留关键光源信息。

这样，作者就把「RGB → 光源光谱/反射谱 → 虚拟多光谱 → 平均」这一整套链条跑通了，并以此为基础去验证多光谱 AWB 的可行性。

整体如下图所示：

 

 

添加图片注释，不超过 140 字（可选）

至于如何反推光谱以及如何设计sensor，可以查看原文。

02 结果

测试的时候，需要重复上述过程：从RAW-RGB反推光谱，最后得到100x14通道数据，平均，带入训练时候的MLP，下述14ch，65ch是表示不同的通道数。

在单数据集上——炸裂的好

就是训练和测试都在一个数据集，只不过three-fold了——当然存在过拟合，但是都这样玩的，也没毛病

 

 

添加图片注释，不超过 140 字（可选）

3. 不开源—我固执的认为，深度学习时代，不开源，都是造假。而且特别是公司合作的，不开源，简直是又当又立。你数据集和代码，至少开一个也行啊，虽说这个代码简单，但是保不齐你有啥关键参数没交代给人留坑——这在相当程度上影响了这篇文章的影响力。

04 发散

 

 

添加图片注释，不超过 140 字（可选）

 

 

添加图片注释，不超过 140 字（可选）

• 技术路线。到底是多光谱面阵AWB还是说多分区单点多光谱，这是路线之争，核心是你用它来做啥，如果只是测光，没问题，当前感觉是分区单点目前似乎更好；但是如果是用来成像，那么面阵几乎是必须的。

说到底，多光谱色彩还原（不止 AWB）依然是开放问题：要不要上？做到什么程度？采用哪种方案？目前都没有统一的标准答案。不同公司会根据自身的技术积累、资源约束与价值观做出选择。

但是我对HUAWEI红枫，保持着一万分敬意，能够在这样复杂环境中强力去推，破除层层阻力，贴着第一性原理去迭代，遇到问题解决问题，带动整个行业发展。

 

 

微信视频号：sph0RgSyDYV47z6

快手号：4874645212

抖音号：dy0so323fq2w

小红书号：95619019828

B站1：UID:3546863642871878

B站2：UID: 3546955410049087

 

参考文献链接

ISP 论文解读|华为: 单像素多光谱AWB(IJCV 2024)