HDR技术解析
微信视频号:sph0RgSyDYV47z6
快手号:4874645212
抖音号:dy0so323fq2w
小红书号:95619019828
B站1:UID:3546863642871878
B站2:UID: 3546955410049087
HDR技术概述
高动态范围(High Dynamic Range, HDR)成像技术旨在提升图像同时呈现亮部和暗部细节的能力。相机 传感器和显示设备动态范围的扩大,使得HDR图像可以更接近人眼所见场景的明暗层次。传统摄像系统在 高反差场景下往往无法同时兼顾最亮和最暗区域,而HDR通过多重曝光和智能合成,有望实现“高光不过曝、 暗部有细节”的目标。
HDR成像最初多采用多帧图像合成:拍摄一系列曝光不同的照片(例如正常曝光、欠曝、过曝),然后在后处理阶段将各帧的最佳细节融合成一张HDR图像。这种“多帧异曝光”HDR思路在早期数码摄影(如2011年推出 HDR模式的智能手机)中广泛应用。其核心理念是“取长补短,合为一体”,即利用短曝光帧保留高光细 节,长曝光帧保留暗部细节,最终合成为高动态范围结果。
然而,多帧HDR也暴露出一些问题:如果多张照片拍摄时序上存在位移,运动物体会在不同帧中出现错位,合 成后易产生鬼影或模糊伪影。同时,多帧采集与处理增加了快门延迟和计算负荷,可能错过瞬间画面,低 性能硬件也难以实时处理复杂对齐融合。为改善这些不足,HDR技术正从纯软件算法合成拓展到传感器 硬件层面的融合,并结合AI去鬼影和细节增强等手段,走向“Sensor+ISP+AI”协同处理的新架构。
总的来说,HDR技术的发展经历了从ISP端的多帧合成到Sensor端的单帧/多帧硬件融合的演进。下文将详细介 绍ISP端HDR方案、Sensor端各种HDR实现技术,以及主流图像传感器厂商在HDR上的技术路径,最后对两种 方案进行对比分析并展望未来趋势。
ISP端HDR技术
ISP端HDR是指主要依靠成像系统中的图像信号处理器(ISP)或后端软件,对多张不同曝光的图像进行对齐、 融合和调优,以生成HDR照片或视频的技术方案。其特点是在传感器输出标准帧的基础上,由ISP或软件算法完 成高动态范围的扩展。典型的ISP端HDR流程包括:传感器以快速连续方式拍摄多帧(通常2~3帧)明暗不同的 图像,ISP获取RAW或YUV图像后,先进行图像对齐(校正由于手抖或运动造成的错位),然后对不同曝光帧的 像素进行加权融合,最后经过色调映射输出HDR结果。
图1:ISP端HDR多帧融合流程示意
早期智能手机常用的HDR模式即属此范畴。例如,双帧曝光+ISP合成的方法:在极短时间内连拍一张短曝光和 一张长曝光照片,ISP对亮部和暗部信息进行融合,输出一张宽动态范围图像。部分平台支持三帧曝光融合 以获取更高动态范围,但额外帧也带来了更高的运算开销和延迟。Google提出的HDR+算法则是另一种创新 的ISP HDR路径:连续捕获多张短曝光(欠曝)照片并堆栈融合,不同于传统长短帧结合,HDR+通过多张欠曝 帧叠加既控制高光不过曝,又降低暗部噪声,从而获得接近正常曝光效果的HDR成像。这种多帧同曝光融 合思路被广泛用于夜景模式,大幅提升了弱光下的动态范围和画质。
典型ISP HDR方案的优势在于不需要特殊传感器硬件支持,易于通过算法在现有设备上实现。然而其劣势也很明 显:多帧采集存在时间差,运动物体会导致Ghost伪影,需要复杂的对齐和去鬼影算法处理。另外,连拍多 张增加了延迟,用户在按下快门到成像往往感觉“慢半拍”。为此,业界引入ZSL(Zero Shutter Lag)HDR 等改进方案:通过让相机持续高速采帧并缓存,快门按下时直接从缓存中提取最近时刻的多帧进行HDR融合, 以降低感知延迟。ZSL HDR本质上仍是ISP多帧合成,但通过巧妙的帧调度实现了接近实时的输出,大 幅提升了用户体验。
总之,ISP端HDR以算法为核心,通过多帧图像融合实现高动态范围增强。这种方式灵活可控,适用于各种已有 传感器,但其效果受限于传感器本身输出的动态范围,以及多帧算法对运动/场景的处理能力。随着传感器技术 的发展,越来越多HDR处理正前移至Sensor端,以弥补纯算法HDR的局限。
Sensor端HDR技术
Sensor端HDR是指利用图像传感器硬件的特殊设计,在传感器输出阶段就获得扩展动态范围的图像或多路信 号,再经ISP简单处理即可得到HDR结果的技术。相比ISP HDR需要多帧后处理,Sensor HDR通过像素电路和 读出方式创新,在传感器层面融合或输出高动态范围数据,具有实时性好、无快门延迟等优点。常见的 Sensor端HDR技术可以分为以下几类:
分时曝光
分时曝光(也称时域多帧HDR)指传感器在不同时间顺序捕获多帧不同曝光图像,然后再融合。这在概念上类 似于ISP多帧HDR,但这里传感器通常提供对连续曝光的硬件支持,例如快速切换曝光参数并输出对齐的多帧。 经典实现是Sony的DOL-HDR (Digital Overlap HDR)技术:传感器在一个帧周期内完成短、中、长三段曝光, 并交错输出这三帧的数据。由于各曝光在时间上交叠,“准同时”完成采样与读出,大幅减少了不同曝光 之间的时间差,降低了运动场景的错位风险。例如Sony IMX290传感器支持DOL-HDR,可在一帧内输出三 路不同曝光的RAW图像供ISP融合。OmniVision等厂商也有类似的Staggered HDR方案,其原理与DOL类 似,区别在于支持的曝光帧数不同(如Sony DOL最多支持4帧输出,OV Staggered支持最多3帧)。
图2:DOL‑HDR 三曝光读出时序图
采用分时多帧HDR的传感器相较普通传感器增大了数据吞吐,但通过同时段完成多次曝光,整体效率更高,且 因为所有曝光捕获的是同一时刻的场景,大幅减少了鬼影和运动模糊问题。需要注意此方案仍会输出多 帧,需要ISP在RAW域进行融合,不过由于帧间对齐误差小,融合质量和实时性显著提升。此外,多帧交叠曝光 要求传感器具备高速读出和组帧保持(group hold)功能,以确保各曝光参数同步应用。
分增益采样
分增益采样指利用传感器模拟增益/转换增益的不同设置,对同一场景信号进行多种增益读取,从而获取明暗两 种信号并合成HDR的方法。此类技术在单帧内完成,不依赖不同曝光时间,而是针对相同曝光使用不同增益放 大来拓展动态范围。典型实现有:
• 双转换增益传感器 (DCG):每个像素支持高、低两种转换增益模式。明亮场景下传感器切换到低转换增 益(LCG)模式,提升满井容量避免饱和;暗场景下切换到高增益(HCG)模式,提高感光度获取弱光 细节。DCG模式本质上是在不同拍摄条件下选择合适增益,提高传感器的整体动态范围和信噪 表现。需要注意传统DCG一次只使用一种增益模式,并非输出HDR图,只是拓宽了单帧的适应范围。
• 同时双增益输出 (Dual Analog Gain, DAG):传感器对每个像素的信号同时进行两路模拟增益放大(高 增益和低增益),分别读取出两套数据,再在传感器或ISP中合并为HDR输出。高增益通路强化 暗部信号,低增益通路保留亮部细节,相结合即可拓展动态范围约10dB。DAG技术也称单帧双路 HDR,优点是完全无时间差,不会产生鬼影,并且直接输出一帧HDR图像。例如格科微 (GalaxyCore)近期发布的GC13A2传感器就采用了DAG单帧HDR方案,在1300万像素输出中通过“双 模拟增益”实现了近10dB的动态范围提升。DAG的实时预览效果也与最终成像一致,所见即所 得。
• 双重转换增益合并:类似地,三星的Smart-ISO Pro技术可以看作数模结合的分增益方案。其原理是像 素同时以高ISO(高转换增益)和低ISO(低转换增益)两种模式采集信号,然后在传感器内部将两路结 果合并输出12位HDR图像。高转换增益确保暗部细节,低转换增益保留亮部颜色,合成后覆盖 更宽动态范围且减少了滚动快门失真。Smart-ISO Pro属于单帧单拍HDR方案,能够独立于 AP,在传感器端完成HDR处理。其升级版Dual Slope Gain则是在像素信号不足以双路转换增 益时,通过对单路信号施加两种模拟增益读取实现HDR,应用于高分辨率裁切场景。
分增益采样类技术的共同优点是单帧完成HDR,无需逐帧对齐,完全避免了运动伪影。然而其动态范围 提升受限于增益的范围,且高增益通路会增加噪声。因此常与其他HDR方式结合使用,例如传感器同时支持 Staggered多帧和DAG双增益,以进一步提高HDR性能。值得一提的是,传感器在前端(像素级)采用转换增益 比后端模拟增益更有利于降低噪声 ——这也是为何Smart-ISO Pro相比Dual Slope有更佳HDR信噪表现 的原因。
传感器端PWL压缩与ISP逆PWL解压(与分增益采样配套)
多增益类内建HDR(如 DAG/DCG/Smart‑ISO Pro)融合后得到高位深线性RAW(例如18–22位等效位深)。为 降低链路带宽与存储吞吐,常在传感器端施加PWL(Piece‑Wise Linear,分段线性)压缩:以若干膝点(Knee) 将动态范围分区,每段使用不同斜率量化编码,将位宽降至10/12位便于经MIPI等接口输出;ISP端使用匹配的逆 PWL查表将码值还原为线性HDR RAW,再进入去噪、白平衡、色彩与色调映射等流程。该机制同样可与多斜率/Quad Bayer等Sensor HDR配合使用。
·膝点/斜率需与增益链路共同标定,兼顾高光不过度压缩与暗部量化精度;
·常见位宽:10/12位;段数:2–4段;可选微分抖动减弱量化台阶;
·ISP逆PWL版本需与传感器侧严格匹配,避免色/亮偏移。
图3:PWL压缩与解压(Sensor端PWL降位宽,ISP端逆PWL还原线性HDR)。
多斜率像素积分(Dual/Multiple Slope Integration)
多斜率像素积分是指在同一帧内,将像素的积分过程分为两个或多个时间段(斜率/斜段),每段采用不同的 曝光时长或等效积分斜率(可结合复位/钳位/转换增益切换),从而在单帧中同时兼顾高光与暗部信息。常见 实现包括Dual‑Slope(双斜率)与Multi‑Slope(多斜率,3~4段),广泛应用于车载、安防与机 器视觉等对运动鲁棒性要求很高的场景。
其基本思想是在同一行内依次执行短/中/长等多个子积分段:先用极短段捕获高亮细节,随后用较长段 累计暗部信号;各段结束时可进行钳位或部分复位,防止高亮像素过饱和。行/帧读出后,传感器在芯片内完 成各段的线性化与权重合并,输出一帧HDR(部分器件也支持输出多段数据,交由ISP合并)。
优点:单帧完成、几乎无时间错位,运动场景无鬼影;对高亮溢出更友好,较纯增益类方案更容易保留高光纹理; 无分辨率损失,实时性强,适合视频与高速场景。
局限:段间“折线”位置(knee/knot)与权重需精确标定,算法不当会出现色调不连续或局部光晕;滚动快门版本仍有 行畸变;在PWM照明下可能需配合抗闪烁策略;硬件复杂度与功耗较纯单斜率略高。
实现要点:常与DCG/DAG等增益手段配合,先以多斜率扩展有效满井与线性区,再用转换/模拟增益优化SNR; 可工作于滚动或全局快门架构。以双斜率为例:若两段积分时间比为Tlong/Tshort=k,理论上可带来约 20·log10(k) dB 的动态范围扩展;多斜率(3~4段)在工程中可实现90–120 dB的系统DR。
典型应用与部署:车载CIS(应对日照/隧道等强对比)、安防逆光、机器视觉高亮反光件检测等。输出形式分为: (a)传感器端已合成的单帧HDR(Built‑in HDR);(b)各斜率段的分路数据供ISP在RAW域融合。
图4:多斜率像素积分示意(分段压缩响应曲线,标注 Knee1/Knee2)。
空间交错
空间交错HDR是通过在传感器空间维度上交替/分配不同曝光,以并行获取明暗信息的方法。它包括隔行、隔像 素等具体实现,核心是在同一帧图像内不同像素承担不同曝光,从而一次拍摄获得多种曝光结果,再通过重建 融合为HDR图像。主要的空间交错方案有:
• 隔行曝光 (Interlaced HDR, iHDR):传感器以行(或帧行组)为单位交替使用长曝光和短曝光。例如 Sony早期的BME-HDR技术即每两行像素中,一行短曝一行长曝,最后融合得到HDR输出。这 种行交替使每帧同时包含明暗信息,避免多帧时间差,不过代价是垂直分辨率损失一半(因为有效信息 只有隔行)。OmniVision亦曾采用类似的Alternate Row HDR(交替行曝光)方案。iHDR可以 视为传感器级硬件HDR的早期尝试,解决了运动伪影问题,但因分辨率降低和图像栅格感明显而逐渐淡 出主流。
• 棋盘格曝光 (Spatially Multiplexed Exposure, SME):这是对iHDR的改进,代表如Sony的SME-HDR 技术。它在像素层面以棋盘格模式交错分布长曝和短曝像素。例如Sony IMX214传感器采用SME, 在空间上棋盘排列相邻像素为不同曝光。这样每帧图像中均匀穿插明暗像素,融合后可得到 HDR。SME牺牲的空间分辨率比隔行更少,索尼宣称解析度损失约20%。通过更先进的插值融合算 法,可进一步降低清晰度损耗。SME实现了HDR硬件采样与高分辨率的折中,被视为iHDR的升级版 本,也被一些文献称作Z字形HDR (zigzag HDR)。
• 四单元像素HDR (Quad Bayer HDR):随着高像素密度图像传感器的出现,Quad Bayer结构(四个相 同颜色的子像素构成一“大”像素)被广泛采用。该结构在HDR模式下可将四子像素分成两组,分别执 行短曝和长曝,然后按像素位置融合输出HDR信号。非HDR时四合一输出以提高信噪比,HDR时两 两合一实现动态范围拓展。Sony IMX586等4800万像素Quad Bayer传感器即支持这种模式,在单帧 内完成HDR合成。与SME相比,Quad Bayer HDR利用了子像素冗余达到HDR与高分辨率兼 得,适合于视频等实时HDR场景。SK海力士的研究指出Quad HDR具有高速、效果好的优点, 尤其适合应用在高分辨率视频拍摄中。
• 大小像素结构HDR:这是另一种空间域方案,即在传感器像素阵列中成对设计大像素和小像素。大/小 像素对非常接近,几乎感光同一位置,但因尺寸不同具备截然不同的感光特性和饱和容量。拍 摄时两者相当于同时进行长曝(大像素更敏感,易饱和)和短曝(小像素抗饱和),读出后融合出HDR 图像。该方法充分利用物理结构差异,无需时间多帧,也无分辨率损失问题。早在2003年富士 就推出过Super CCD SR传感器,采用大/小像素双光电二极管实现HDR拍摄。Sony的车载传感器 IMX490也应用了类似的大/小像素HDR架构,实现了单帧下同时获取明暗细节,特别适合高速场景下的 HDR成像。
像素内存储
像素内存储HDR是指在传感器像素电路中集成存储节点,允许单个像素在一次曝光过程中采集并保存多份电荷 信息,从而实现无时间差的多曝光捕获。简单来说,就是像素可以在一次拍摄里分时存储多个子曝光,再统一 读出。这一技术通常结合全局快门或特殊驱动实现。例如,一些传感器像素设计有主、副光电容,当曝光开始 后,先在较短积累时间将电荷转移到副容器保存,随后继续累计剩余长曝光电荷在主容器,最终两部分数据合 并输出HDR。这种架构下,短曝和长曝实际几乎同时进行(在同一帧内无间隔完成),彻底杜绝了因拍 摄时移动造成的伪影问题。像素内多存储节点技术曾用于一些学术原型和高端传感器。例如,早期横向溢 出电容结构(LOFIC)可以看作简单的像素内存储方案:像素满阱后溢出的电荷自动进入旁路电容,相当于记录 了一份短曝光信息用于高亮细节。再比如,索尼在一些全局快门HDR传感器中采用多重采样,在曝光过 程中分多次读取像素电荷并复位,这需要像素内带有存储快门或记忆能力。同理,思特威的新一代In-Sensor HDR™技术号称可在单帧实现高动态输出,也是通过像素电路创新在无时差下获得多重曝光信息。总体而 言,像素内存储HDR技术由于像素结构复杂、成本高,目前多用于专业及特殊应用(如汽车摄像、高端视频 等),但它代表了HDR成像的理想形态——真正同时获取多层次曝光,无需任何事后对齐校正。
综上,Sensor端HDR技术包括从时域多帧到空域多像素再到电路级别增益和存储的多种路径。它们共同目 标是在传感器硬件层面解决HDR拍摄的痛点:既提升动态范围,又降低多帧带来的延迟和鬼影。不同方案各有 取舍:时域方案侧重兼容性但仍有轻微时间差,增益方案实现简单但提升有限,空间交错方案无时间差但需应 对分辨率损失,像素内存储方案效果最佳但实现难度最高。在实际产品中,这些技术常常组合使用,以取长补 短,实现最佳HDR成像效果。
图5:Sensor端HDR硬件技术族谱(展示主流方案的分层与典型代表)。
主流Sensor厂商HDR实现技术详解
当前市场上主要的CIS(CMOS图像传感器)厂商都推出了各具特色的HDR技术方案。下面结合Sony、 OmniVision(豪威科技)、Samsung(三星)、Onsemi(安森美)和SmartSens(思特威)等厂商的产品,对其HDR实 现进行解析。
Sony(索尼)
作为影像传感器领域的领导者,Sony在HDR技术上积累深厚,推出了多代硬件HDR方案:
• 多帧交叠HDR (DOL-HDR):Sony较早在消费级传感器中引入了数字重叠曝光HDR。其IMX290等器件支 持在一帧内完成多次交错曝光输出。Sony DOL-HDR可输出长、中、短甚至Very short四路曝光帧 供ISP融合,广泛用于安防、车载等需要高动态范围的视频场景。DOL模式有效降低了传统逐帧HDR 的延迟和鬼影问题,是传感器级HDR的重要里程碑。
• 行/列交替HDR (BME-HDR, SME-HDR):Sony曾在早期手机CIS(如IMX135, IMX214)中采用空间交错 HDR技术。BME-HDR通过隔行短长曝光实现HDR,缺点是垂直分辨率减半。SME-HDR则改用棋盘 格像素交错,只损失约20%分辨率。SME被认为是Sony对iHDR的改良方案,实现更佳清晰度与 HDR折中。IMX214等采用SME的传感器可直接输出融合后的HDR图像或输出双重曝光帧供处理。 Sony的这些创新为传感器硬件HDR探索了宝贵方向,不过由于分辨率损耗问题,BME/SME如今较少见 于新款主摄,更多用于特定模块。
• Quad Bayer HDR:Sony率先将Quad Bayer像素结构应用于手机高像素传感器,并利用该结构实现 HDR。IMX586、IMX689等型号在常规模式下四像素合一输出,提高感光度;HDR模式下分组对角线像 素执行不同曝光再融合,生成全分辨率HDR图像。这种方案兼顾了高像素和HDR效果,已成为Sony 高端手机CIS的标配功能。另外Sony还开发了像素内双转换增益技术,在IMX661等工业传感器上实 现单帧HDR。
• 大像素+小像素架构:Sony在汽车领域推出的IMX490采纳了大小像素同视场HDR方案。该传感器每 个单位包含一大一小两个像素,共用光学视角,大像素提高弱光性能,小像素负责强光部分,组合实现 宽动态范围且无鬼影。这种架构提升HDR的同时保持了全分辨率输出,对高速运动场景也非常友好,是 车载HDR的新思路。
总体来看,Sony构建了从移动终端到汽车安防的全面HDR技术矩阵:手机CIS侧重多帧交叠和Quad Bayer融 合,专业领域探索特殊像素结构和全局快门HDR。此外,Sony还在影像算法上配合AI去鬼影、Local Tone Mapping等,以发挥硬件HDR数据的最大效用。
OmniVision(豪威科技)
OmniVision作为全球主要CIS厂商,在HDR方面亦有多项布局:
• 交替行HDR:豪威早期传感器采用过类似Sony BME的隔行HDR方案,即Alternate Row HDR。例如 OV10640等车规CIS通过奇偶行不同曝光实现动态范围扩展,适应高对比度场景。虽然隔行方案有分 辨率损失,但在当时是一种有效的车载HDR手段。
• 交错曝光HDR (Staggered HDR):豪威近年的中高端传感器普遍支持交错式多帧HDR。例如OV48C、 OV64B等支持三重曝光Staggered输出,与Sony DOL类似。值得一提的是,豪威在2020年前后推出 的OV系列高端手机CIS(如OV48C)就已具备Staggered HDR能力,几乎与Sony IMX766(首个索尼交 错HDR手机传感器)同时代推出。这表明豪威在Sensor HDR上并不落后,其方案同样可在一帧内输 出多路不同曝光RAW。
• Dual Conversion Gain / Dual Analog Gain:豪威很早就应用了DCG技术(称为DCG™)来增强动态 范围。例如OS08A、OS04A等安防传感器通过双转换增益模式实现业界领先的低光和HDR性能。近 期豪威进一步引入Dual Analog Gain (DAG)方案,实现单帧双增益HDR。官方资料显示,OV50A/ OV50X等高端传感器支持DAG模式,在片上同时读出高低增益信号并融合,提高动态范围且兼顾LED闪 烁抑制。豪威的DAG技术类似三星Dual Slope或格科微DAG方案,主攻手机视频HDR领域。
• 组合HDR方案:豪威在旗舰手机CIS上往往将多种HDR技术结合。如OV50X据称支持三重曝光HDR + 双 模拟增益 ——传感器可同时输出三帧不同曝光,还对其中暗部通道应用高模拟增益,以实现最大动 态范围覆盖。这种软硬结合的策略体现了豪威追求HDR性能的思路。此外,豪威的营销名词zHDR常见 于其中端产品(如OV13A10/16B10等),指在单帧内以特殊排列获取多重曝光数据,据推测与 Sony的SME-HDR类似。
整体而言,OmniVision的HDR技术既有面向移动平台的Staggered/DAG单帧HDR,也有服务于汽车安防的多帧 HDR+LFM(防闪烁)方案。豪威在手机传感器上积极追赶Sony和Samsung,通过高像素、高动态范围性能来 增强竞争力。随着其被韦尔股份收购整合,豪威在HDR创新上投入不减,在高端旗舰CIS上不断推出新的HDR功 能以满足市场需求。
Samsung(三星)
三星半导体近年在智能手机图像传感器市场攻势迅猛,也开发了自身特色的HDR技术:
• Staggered HDR:三星的最新一代ISOCELL传感器(如GN2, HP1等)均支持Staggered(三重)HDR拍 摄,即在单帧内完成多段曝光并输出多路信号供ISP融合。三星称之为逐行HDR,其作用与Sony/ OV的交错HDR相同,用于提升在视频和照片中的动态范围表现。GN2传感器就是一例,它具备强大的交 错HDR功能,可以在不牺牲帧率的情况下提供高达100dB以上的动态范围。
• Smart-ISO / Smart-ISO Pro:这是三星独创的单帧HDR方案。普通Smart-ISO指像素可在高ISO(高转 换增益)和低ISO(低转换增益)两种模式间自动切换,以适应明暗场景,提高传感器的整体感光性能。在此基础上,三星推出Smart-ISO Pro,实现同时读取高低ISO信号并合成为HDR图像。具体过程是,拍照时传感器并行产生高增益和低增益两份数据,再智能融合输出12位色深图像。由于是单次曝光完成两种增益采样,Smart-ISO Pro能够避免多帧HDR的延迟和伪影,在逆光、 人像等场景下提供更真实的高动态范围成像。三星透露通过合并两个10位信号,Smart-ISO Pro可 表现出约687亿种颜色(12位),远超传统10位HDR。这项技术也称作iDCG(intra-scene Dual Conversion Gain) 已在HM3、GN5等图像传感器上采用。
• Dual Slope Gain:为解决高分辨率模式下Smart-ISO Pro无法使用的问题(如全分辨率下像素信号较小 不足以同时支持双转换增益),三星引入Dual Slope Gain机制。DSG在像素读取时对同一信号 施加两种模拟增益读取,得到高低增益两路数据。这样即便单像素模式下无法使用双转换增益,也 能通过双模拟增益实现HDR。三星在HP2等超高像素传感器上就利用Dual Slope实现了全分辨率下 可用的HDR功能。不过三星官方也指出,Smart-ISO Pro在信噪表现上仍优于Dual Slope,因为 前者在像素端放大信号噪声更低。未来三星可能根据场景自动切换两种模式,以兼顾不同焦距/模式 下的HDR需求。
综合来看,三星在HDR技术上紧随Sony步伐,并发挥SoC厂商优势将HDR方案与ISP/AI深度结合。例如其手机 平台支持将传感器输出的多路HDR数据在ISP中实时融合,或者在软件层实现ZSL HDR以零延迟输出照片。三星的战略是提供单帧传感器HDR(Smart-ISO Pro等)与多帧ISP HDR(ZSL、AI HDR)并行的解决方案。在2023年发布的HP2 2亿像素传感器上,三星更是结合了三重ISO模式(低、中、高)和改进的Smart- ISO Pro,单帧即可输出14位HDR,动态范围极其惊人。可以预见,三星将继续利用其传感器与处理器协同 设计的优势,在HDR领域推出融合度更高、性能更强的创新方案。
Onsemi(安森美)
Onsemi作为全球汽车与工业CIS的重要供应商,在宽动态(WDR/HDR)技术方面有长期积累:
• 多重曝光+LFM:安森美的车规图像传感器普遍支持三重甚至四重曝光输出,以及配套的LED闪烁抑制 (LFM)功能。比如经典的AR0231AT就是三帧HDR架构,可同时输出长、中、短三帧,并通过特殊算法减 轻LED灯源闪烁。在自动驾驶环境下,既要高动态又要应对LED交通信号的频闪问题,Onsemi通过 在传感器中增加一个短曝光专门用于捕捉LED脉冲,再融合其他正常曝光帧,解决了HDR与LFM兼容的 难题。这套HDR方案在汽车摄像头中应用广泛,也使Onsemi一度占据车载CIS大部分市场份额。
• 分辨率与HDR权衡:早期安森美(当时Aptina)曾推出过类似交替行的HDR,如DR-Pix架构,可在高 低光两套像素间切换。但其主流产品更倾向于全分辨率的逐行交错HDR。例如新的Onsemi XGS系列全 局快门传感器,通过在像素内多次采样并存储,实现无拖影的HDR输出。Onsemi还提供可以自行调节 帧间隔的HDR模式(称为穿插帧HDR),方便客户在动态范围与分辨率/帧率间找到最优平衡。
• 双转换增益:安森美也掌握DCG技术。例如其安防传感器AS0140曾运用过像素双增益模式,以提升低照 度性能和动态范围。尽管Onsemi不像Sony/三星那样在手机市场宣传HDR卖点,但在专业领域,其许多 传感器的数据手册都标注支持HDR模式,通常指分时多曝光结合相应算法。
总体而言,Onsemi的HDR技术强调可靠性和实用性,多用于汽车ADAS摄像头、安防监控等。随着汽车智能 化,对HDR视频的实时性要求更高,Onsemi也在研发下一代传感器HDR解决方案,包括像素级同时双采样、高 动态与红外融合等,以保持其在车载影像领域的领先地位。不过在手机等消费市场,Onsemi的存在感较弱,因 此HDR技术主要体现在专业级产品线上。
SmartSens(思特威)
作为中国本土崛起的CIS厂商,思特威在HDR技术上亦有独到创新,逐步缩小与国际巨头的差距:
• PixGain®/SuperPixGain HDR:这是思特威自主研发的单帧HDR技术。所谓PixGain指像素同时具备 高、低两种转换增益(High/Low Conversion Gain),类似前述双转换增益。但思特威更进一步,于 2023年推出SuperPixGain HDR™,可在单次曝光下产生三帧等效影像并融合,实现超高动态范围。搭载该技术的SC5A5XS手机主摄传感器动态范围高达110dB,并能有效抑制运动伪影。
SuperPixGain HDR的原理据推测是在传感器内部分时读取像素信号三次(或三组像素不同增益),有 点类似同时具备Staggered和多增益的综合方案。实际效果上,思特威宣称其可在4K 60fps视频下无拖 影地呈现HDR画面,在移动平台上达到硬件HDR新高度。
• 行交叠HDR:思特威的传感器产品线也有传统的交错曝光方案。例如面向物联网摄像头的SC630系列支 持2-exposure staggered HDR行交织模式,动态范围超过87dB。思特威在安防传感器中使用 了类似Sony DOL的逐行HDR,并与自家QCell™ LED闪烁抑制结合,实现同时防止LED频闪和提升动态 范围。可以看出,思特威沿用了国际大厂成熟的行交织HDR思路来满足安防车载需求。
• 分级HDR架构:思特威在技术宣传中提出了完整的HDR技术组合,包括:“逐行多重曝光HDR、行交叠 HDR、无时距单帧HDR”等多项技术。逐行多重曝光对应常规多帧HDR,行交叠对应Staggered, 单帧HDR则指SuperPixGain。这表明思特威已构建起涵盖软件到硬件的HDR方案栈,可根据应用场景提 供不同等级的HDR支持。尤其是其单帧HDR技术,使国产传感器在高端手机市场具备了与Sony三星竞争 的卖点。
• 应用与合作:思特威积极与手机厂商合作,将HDR技术融入终端。例如某国产旗舰手机主摄采用思特威 5000万像素传感器,实现了像素级HDR视频拍摄,其夜景和逆光视频效果据称媲美国际品牌。思特威还 在汽车、机器视觉等领域推广自家HDR传感器,强调在复杂光线下获取“明暗都清晰”的能力。作为后 来者,思特威正以更高性价比提供HDR解决方案,逐渐赢得市场认可。
总体来看,SmartSens的HDR策略是“两手抓”:一方面模仿追赶行业主流水平(如行交织HDR等),另一方 面通过创新(如单帧三融合HDR)实现差异化突破。随着其技术的成熟和客户基础扩大,我们有理由期待未来 会有更多旗舰级国产影像产品使用思特威的HDR技术。
ISP HDR与Sensor HDR对比分析
ISP端HDR和Sensor端HDR作为两种不同实现路径,各有优劣,适用于不同应用场景。以下从多个维度对二者 进行对比分析:
• 动态范围及画质:传统ISP多帧HDR可以通过增加帧数不断提高动态范围,但受限于对齐精度和噪声累 积,实际提升有瓶颈。而Sensor硬件HDR往往利用更底层的信号获取方式,避免许多后期损耗,能够在 单帧中保留更多原始细节和更高比特深度(如三星Smart-ISO Pro输出12位RAW)。此外,Sensor HDR因无剧烈对齐拉伸,画面边缘过渡更自然,色彩一致性更好。总体而言,在动态范围极限上, 多帧+硬件HDR结合效果最佳,但在同等帧数下,Sensor HDR通常可实现更佳的HDR成像质量。
• 运动伪影:这是HDR成像的重要考量。ISP HDR由于多帧时间差,会出现运动物体重影,需要算法检测 和消除。尽管引入AI辅助可一定程度缓解Ghost,但算法复杂度和失败风险仍存在。而Sensor HDR 方式(如单帧多增益、交错曝光)因为各曝光几乎同时,空间位置一致,先天不存在运动伪影或鬼影问 题。即使是传感器多帧Staggered HDR,由于帧间隔在一帧内微秒级,也远小于传统多帧HDR的时 间差,运动一致性显著提升。因此在运动场景、视频拍摄中,Sensor HDR方案优势十分明显。
• 快门响应和延迟:多帧ISP HDR往往需要累积多张图像再处理输出,用户可感知到明显的快门延迟和预 览不同步。而Sensor HDR由于输出的就是实时HDR数据,配合ISP即可“所见即所得”。例如采用单帧 HDR传感器时,预览画面本身就是HDR效果。快门按下后几乎瞬时成像,大大改善用户体验。即使 是传感器三帧交错HDR,其输出延迟也仅几十毫秒量级,远低于软件HDR合成的上百毫秒甚至更高。因此在对实时性要求高的应用(如汽车摄像或手机抓拍),Sensor HDR更具优势。
• 实现复杂度与成本:ISP HDR主要消耗的是算法研发和芯片算力,无需特殊传感器,因此成本相对低, 灵活性高,可以在通用硬件上实现不同算法升级。Sensor HDR则需要更复杂的像素设计、读出电路和 工艺支持。例如棋盘像素、双增益ADC、像素存储节点等,都增加了传感器研发难度和单位成本。因此 对于入门级产品或旧设备,采用ISP HDR软件升级是更经济的方案,而高端旗舰往往不惜硬件代价引入 传感器HDR以获得差异化性能。
• 功耗和效率:多帧HDR需要多次曝光和多帧处理,整体能耗较高。而一些Sensor HDR方案可以在相同 帧周期内完成多重采样,重复利用了读出过程,功耗更优。如Sony曾测算Staggered HDR比连续多帧曝 光降低约15–25%的能耗。单帧HDR也减少了拍摄张数和存储I/O。此外,ISP硬件可以针对Sensor HDR做优化,使融合过程简单高效,进一步降低整机功耗。对于电池供电设备来说,减少HDR拍摄的耗 电对提升用户体验非常重要,这方面Sensor HDR更胜一筹。
• 适用性与灵活度:ISP HDR在算法上有很大灵活性,帧数、曝光比、融合策略都可根据场景调整。例如 夜景模式可堆叠更多帧降噪,而逆光场景只需两帧快速HDR。Sensor HDR相对固定,例如传感器可能 只支持3帧Staggered或单帧双增益,面对极端场景可能不如算法来的灵活。此外,Sensor HDR通常在 设计时针对特定场景优化(如车载HDR强调LED不闪烁),在通用性上略逊。不过,随着Sensor端和 ISP端逐渐协同(硬件输出多通道HDR,ISP灵活选择融合方式),这种界限变得模糊。未来我们会看到 多模式HDR——由Sensor提供多种HDR数据,ISP/AI按需组合,从而兼顾灵活性和实时性能。
表:ISP HDR vs Sensor HDR方案对比
| 对比维度 | ISP端多帧HDR | Sensor端硬件HDR |
| 动态范围 提升 | 依赖算法帧数,理论上可无限拓展,但受限于 噪声和对齐 | 依赖传感器硬件能力,有物理上限,但信 号质量高 |
| 鬼影伪像 | 多帧错位易有鬼影,需后期去除 | 无时间差或极小时间差,基本无鬼影 |
| 成像延迟 | 快门延迟明显,多帧合成耗时高 | 实时输出HDR,几乎零延迟预览 |
| 硬件成本 | 无特殊要求,算法升级即可实现 | 需特殊传感器,像素/工艺复杂度高,成 本较高tr> |
| 功耗效率 | 多帧采集+处理功耗高 | 单帧完成,多路复用,功耗更低 |
| 适用场景 | 软硬件通用性强,可在低端设备实现HDR | 高端专业应用,追求极致HDR性能 |
| 灵活性 | 算法可调节,场景适应性好 | 硬件模式固定,依赖预设HDR模式 |
| 技术趋势 | 倾向融合AI后处理改善质量 | 倾向与ISP协同,提供多模式原始HDR数 据 |
值得注意的是,当今高端影像系统往往结合两种方案:即传感器提供基础HDR硬件支持,ISP再叠加多帧或AI优 化,形成“1+1>2”的效果。例如某旗舰手机开启HDR时,同时利用传感器Staggered输出和ISP的ZSL多帧 合成,以获得更高动态范围和更稳健的成像。可见ISP HDR与Sensor HDR并非对立,而是合作关系:传感器硬 件提供更好的原始素材,ISP算法锦上添花,最终共同实现最佳HDR成像性能。
发展趋势与展望
展望HDR技术的未来发展,以下趋势值得关注:
1.传感器-ISP-AI一体化HDR:正如前文提及,HDR处理正演进为跨Sensor、ISP、AI协同的系统工程。未来的相机将根据场景动态选择HDR模式:静止风景可能触发多帧合成,运动场景则启用传感器 单帧HDR,并借助AI在后端修正细节。这种多模式并行架构将使HDR在各种拍摄条件下都能得到优化结 果,用户无需感知内部流程切换。
2.更高位深和色彩保真:随着图像信号路径支持14位甚至16位,各厂商HDR方案都在提升输出位深。例如 三星Smart-ISO Pro已达12位,下一步将挑战14位HDR输出。更高位深意味着能表现的亮度层次和 颜色组合指数级增加,使HDR图像更加逼近真实场景。此外,色彩科学也将融入HDR流程,确保宽动态 范围下的色彩准确和自然过渡。Dolby等公司推行的HDR格式(HDR10+、Dolby Vision)也强调了元数 据色调映射,以充分利用高动态范围和广色域显示能力,这会反过来推动拍摄端提供更丰富的HDR信 息。
3.计算摄影与HDR融合:未来HDR将不再是一项独立功能,而是深度嵌入计算摄影框架中。比如手机的夜 景、人像模式会自动调用HDR子流程;多摄像头系统可能在不同摄像头间实现HDR(一个负责高曝光, 一个负责低曝光,再融合)。在视频领域,逐帧HDR与逐帧去噪、防抖等算法也将融合为统一的多 传感器、多算法协同处理。可以预见,HDR将在计算摄影的洪流中与其他技术交织,共同提高成像质 量。
4.更智能的场景自适应:AI将发挥更大作用来判断何时以及如何应用HDR。比如通过机器学习模型分析取 景画面动态范围,一键决定采用传感器的哪种HDR模式或是否叠加多帧。AI还可学习人眼对高对 比度场景的主观感受,对HDR结果进行调整(如局部对比度优化,模拟人眼自适应)。这种引入人类视 觉特性的智能HDR有望产生更讨好眼球且真实的画面。SK海力士等厂商甚至展望利用神经网络在传感器 芯片内直接建模人眼感知,以实时优化HDR输出。
5.HDR与新型像素架构:为追求更高HDR性能,新型传感器架构层出不穷。例如堆栈式传感器为HDR提供 更多电路空间,背照/双层晶体管提高满阱容量;SPAD(单光子雪崩二极管)等技术结合事件HDR;量 子点滤光片提高SNR进而改善HDR底噪等等。这些新技术将逐步应用于HDR成像,使未来传感器拥有天 然的宽动态属性,不再需要复杂的后天处理。
总体而言,HDR成像正朝着“更实时、更智能、更贴近人眼”的方向发展。我们预计在不远的将来,HDR将成 为所有摄像头的标准配置且无处不在,用户甚至无需切换模式,相机即可根据场景自动捕获HDR影像。同时, HDR的效果也将进一步提升,最终目标是让数码成像的动态范围和观感都接近甚至超越人眼,让照片和视频真 正做到所见即所得。
总结与结论
HDR技术经过多年的发展,已从最初的软件合成阶段迈入软硬结合的新时代。本白皮书系统梳理了HDR的两大 实现途径:ISP端多帧融合方案依托强大的计算摄影算法,实现了早期HDR功能的普及;Sensor端硬件融合方案 通过创新的传感器设计,从源头获取更高动态范围的数据,极大改善了HDR成像的时效性和效果。各大主流传 感器厂商围绕HDR推出了丰富的技术流派——从Sony的交错HDR、SME棋盘像素,到三星的Smart-ISO Pro单 帧HDR,再到豪威、思特威等的多重增益融合——百花齐放的技术共同推动着HDR成像能力的不断攀升。
通过对比我们看到,ISP HDR与Sensor HDR各有优缺点,并非相互取代而是相辅相成。前者灵活度高、成本 低,后者实时性好、质量佳。如今高端成像系统往往两者结合,以期获得更好的动态范围、更低的鬼影和延 迟。展望未来,随着传感器、处理器和AI算法的一体化协同,HDR拍摄将更加智能、高效,最终突破人眼视觉 极限。在这一进程中,掌握核心HDR技术的厂商将引领影像创新,为摄影和视频创作带来前所未有的自由和可 能。
HDR的终极愿景,是让我们拍摄的图像无惧任何光比挑战。从耀眼的阳光到幽暗的阴影,每一处细节都清晰可 见、色彩如所见般真实。这一愿景正逐步成为现实。可以预见,HDR技术将持续演进,成为数码影像不可或缺 的基石,为人类记录和分享视觉世界带来更大的突破。
微信视频号:sph0RgSyDYV47z6
快手号:4874645212
抖音号:dy0so323fq2w
小红书号:95619019828
B站1:UID:3546863642871878
B站2:UID: 3546955410049087
参考文献链接

浙公网安备 33010602011771号