"High Dynamic Range Novel View Synthesis (HDR NVS) seeks to learn an HDR 3D model from Low Dynamic Range (LDR) training images captured under conventional imaging conditions. Current methods primarily focus on static scenes, implicitly assuming all scene elements remain stationary and non-living. However, real-world scenarios frequently feature dynamic elements, such as moving objects, varying lighting conditions, and other temporal events, thereby presenting a significantly more challenging scenario. To address this gap, we propose a more realistic problem named HDR Dynamic Novel View Synthesis (HDR DNVS), where the additional dimension "Dynamic" emphasizes the necessity of jointly modeling temporal radiance variations alongside sophisticated 3D translation between LDR and HDR. To tackle this complex, intertwined challenge, we introduce HDR-4DGS, a Gaussian Splatting-based architecture featured with an innovative dynamic tone-mapping module that explicitly connects HDR and LDR domains, maintaining temporal radiance coherence by dynamically adapting tone-mapping functions according to the evolving radiance distributions across the temporal dimension. As a result, HDR-4DGS achieves both temporal radiance consistency and spatially accurate color translation, enabling photorealistic HDR renderings from arbitrary viewpoints and time instances. Extensive experiments demonstrate that HDR-4DGS surpasses existing state-of-the-art methods in both quantitative performance and visual fidelity. Source code is available at https://github.com/prinasi/HDR-4DGS."
- 缺的那块是任务本身:NVS 与 HDR NVS 各自的假设里都写着"场景不动",而真实环境同时有运动、时变光照与传感器的亮度截断(原文 §1);已有的动态 HDR 尝试(Wu et al., 2024a)从未认真评估过 HDR 输出、也没在真实场景上验过,所以 HDR DNVS 这个位置基本是空的。
- 任务可以写成一行映射:学 Fʰ : (t′, V′) → Iʰ_{t′,V′},输入是一组多曝光 LDR 训练图,每张带一个曝光时间 et,视角取自 Q 个不同机位;每个时间步都只有部分视角有图,这才是"稀疏"的含义(原文 §3 Problem 段)。
- 底座只做了一处改动:4DGS 把时间与空间同等对待(均值从三维扩到四维、协方差 Σ = R S Sᵀ Rᵀ、边际 p(t) = N(t; µt, Σt)),并用4D 球谐表示外观随时间的演化;本文把它的颜色空间从 LDR 扩到 HDR,其余不动(原文 §3.2)。
- 核心件是"让色调随时间走":DTM 把 HDR 颜色映射回 LDR 时,不只看当前颜色与曝光,还看一段历史上下文 —— 辐射库存每帧的平均 HDR 颜色(式 (3)),滑窗取过去 k 帧喂给 DRCL 得到嵌入(式 (4)),再与"取对数的颜色 + 取对数的曝光"拼起来进 g_θ(式 (5));乘曝光时间这一步与 CRF 的原理一致(原文 §3.3)。
- 训练目标里藏着一块补丁:总损失是 L_ldr + α L_hdr,但 L_ldr 里是两项(映射出来的 LDR 图 + LDR 模型直接渲染的图);加这条像素级监督的理由是直接对 HDR 高斯场做三维色调映射会过拟合(原文 §3.4,消融在表 9-2:关掉它 掉 1.03 dB)。
- 两套数据集的分工是"真值怎么来":合成集 8 个场景的 HDR 真值是重新合成的;真实集 4 段序列用六台同步 iPhone 14 Pro、三种曝光拍摄,HDR 真值由 UltraFusion 生成 —— 而二维方法生成的真值缺乏多视角一致性,这就是 4DGS 在真实集上仅用 HDR 监督时重建失败的原因(原文 §4.1)。
- 账要分开算,指标会骗人:合成集上 HDR 侧本文全面领先;真实集上 PSNR 最高的是 HDR-HexPlane† 的 33.03,本文是 25.13。作者的解释是真值噪声 + PSNR 偏好过平滑或模糊的重建(引 Li et al., 2020),并专门画了 Fig. 9(页内标着
PSNR: 30.36对PSNR: 19.86)—— 这是作者的主张加一幅视觉证据,无法复算。 - 一处必须标出来的原文疑点:原文表 2 末行的 LDR 三列(30.69 / 0.927 / 0.097)与训练 76.86 min、推理 48.63 fps,与表 1 末行完全相同 —— 两个不同数据集上出现四位小数一模一样的三个指标加两个耗时,几乎只能是版面的复制粘贴遗留。正文按原值引用并标出疑点,不替作者改正。
1HDR、动态场景、LDR 训练:三件事撞在一起
新视角合成(Novel View Synthesis,NVS)要做的事很直接:用一组多视角图像重建三维场景表示,再从任意视角渲染出接近照片的画面。这项能力已经落到游戏(Niedermayr et al., 2024)、AR/VR(Zhou et al., 2018)与自动驾驶(Wang et al., 2024b)里。原文 §1(p.0)给了一句诊断:现有 NVS 方法(Gao et al., 2022;Wu et al., 2024c)大多只在两个限制性假设下成立,一个是场景静止,另一个是输入为低动态范围(Low Dynamic Range,LDR)图像。真实环境把这两条同时推翻,画面里既有复杂运动、时变光照,也有传感器造成的亮度截断。
本章要交代的是这三件事怎样撞到一起。要 HDR,模型就得覆盖足够宽的亮度范围;要动态,几何与光照都要沿时间轴变化;而能拿到的训练数据只有 LDR 观测。三条约束任意缺一条,任务都会容易不少;三条同时在,问题才成为高动态范围动态新视角合成(High Dynamic Range Dynamic Novel View Synthesis,HDR DNVS)。作者把批评落在一个更靠前的位置:LDR 成像与人眼视觉之间存在错位,这种错位在中等光照条件下已经出现。
原文给出的对照有两组。先看人眼与传感器:人眼能适应的亮度跨度超过十个数量级(Reinhard, 2020),典型 LDR 传感器只覆盖其中很窄的一段。LDR 图像还要经过非线性相机响应函数(Camera Response Function,CRF)才能把场景辐射度写成观测强度,这个压缩过程会扭曲局部对比、压制亮度梯度、降低色彩保真(原文 §1,p.1)。作者说这些限制既损害极端光照下的感知质量,也拉低普通场景的真实感。高动态范围(High Dynamic Range,HDR)一侧的做法反过来,它捕获更宽的亮度与色彩范围,保住高光与阴影里的细节、维持细粒度对比,因此更接近人眼视觉系统的感知能力。
第二组对照落在已有方法上。高动态范围新视角合成(HDR NVS)这条线(Huang et al., 2022;Cai et al., 2024;Liu et al., 2025a)能从标定传感器的多曝光 LDR 图像里重建 HDR 内容,代价是被限制在静态场景,隐含地假定所有元素在时间上不动(原文 §1,p.1)。真实的 HDR 场景本身是动态的,里面有移动物体、变化的光照与瞬态现象,这些动态直接违背既有 HDR NVS 流程的前提。
另一条线是动态新视角合成(Dynamic Novel View Synthesis,DNVS),它把 NVS 扩展到带时间动态的场景,重建在空间与时间上都连贯的四维辐射场。这条线上的工作(Fang et al., 2022;Gao et al., 2021;Tian et al., 2023;Duan et al., 2024;Yang et al., 2024;Cho et al., 2024)在动态几何与外观建模上进展明显,输出却停在 LDR 图像,覆盖不了场景辐射度的完整范围;进入高对比条件后,过曝与欠曝会带来显著的信息丢失。
把两条线合起来看,缺的那一块就是 HDR DNVS。原文给它的定义是一句可以核对的定位:从稀疏、随时间变化的 LDR 输入中重建时间上连贯的 HDR 辐射场与动态几何(原文 §1,p.1)。这个任务要求联合建模不断演化的场景结构与 HDR 辐射度,由此带来两类在静态设定或纯 LDR 设定下不存在的难点。一类是时空不一致,非刚性运动与时变光照让几何与光度的对应关系变复杂;另一类是光度歧义,稀疏 LDR 观测给不出可靠的亮度先验,重建时缺少可依赖的光度锚点。
作者给出的解法叫 HDR-4DGS,一个建在高斯泼溅(Gaussian Splatting,Kerbl et al., 2023)之上的框架,配一个受生物视觉启发的动态色调映射模块。灵感来自人眼视觉的自适应,视网膜感光细胞会随环境亮度动态调整(Clifford et al., 2007)。模块内先由一个动态辐射上下文学习器建模时间上的辐射分布,随后由逐通道色调映射函数在时间自适应、空间准确的前提下连接 LDR 表示与 HDR 空间。
原文 §1 末(p.1)列出四条贡献,这里原样转述。(I) 首次提出 HDR DNVS 问题,要求从稀疏 LDR 输入学习带动态几何与时间连贯外观的四维 HDR 辐射场。(II) 提出 HDR-4DGS,一个以高斯泼溅为底、带动态色调映射的架构,用来在复杂时空变化下自适应地连接 LDR 与 HDR 域。(III) 为了让 HDR DNVS 方法可以被定量评测,给出 HDR-4D-Syn 与 HDR-4D-Real 两套新基准数据集,分别包含 8 个高保真合成场景与 4 段真实拍摄序列,每个场景都标注了真值 HDR 图像、时变三维几何与同步多视角 LDR 观测。(IV) 大量实验显示,HDR-4DGS 在具有挑战性的动态场景上,于定量指标与感知质量两方面都达到当时的最好水平。
落点有三处可核:两条默认假设在原文 §1(p.0),人眼与 LDR 传感器那组对照以及 CRF 的三个后果在 §1(p.1),四条贡献在 §1 末(p.1),图 1-1 则是 p.3 的 Figure 1。三条约束的关系摆明为:要 HDR、要动态,训练数据却只给 LDR。这份张力在下一章会被压成一句可操作的定义。
2这个任务到底要求什么:HDR DNVS 的定义与两条前人线
第 1 章把局面写成三条约束打架:要 HDR、要动态、训练数据却只有 LDR。本章把这份张力收成一句可以操作的话。原文 §3 开头的 Problem 段(p.2)先把任务写成映射:要为目标动态场景 G 学一个 HDR 三维模型 Fʰ,也就是 Fʰ : (t′, V′) → Iʰ_{t′,V′},对任意时间戳 t′ 与视角 V′ 渲染出一张 HDR 图像 Iʰ_{t′,V′}。这一行把第 1 章的三条约束压进同一个函数:时间与视角是自变量,输出落在 HDR 域。
输入的构成原文写得很细,逐项交代如下。有一组多曝光 LDR 训练图像 Iˡ,按时间排开为 {Iˡ₁, …, Iˡ_t, …, Iˡ_T},其中每张 Iˡ_t 带一个曝光时间 et,et 取自曝光时间选择集合 E = {e₁, …, eP};对应的相机视角 Vt 取自 Q 个不同视角 V = {V₁, …, VQ}。T 表示总时间步数,P 表示曝光时间档数。作者还允许可选地拿到配对的 HDR 训练数据 Iʰ = {Iʰ₁, …, Iʰ_T}。这几组记号决定了后面所有实验里「有没有 HDR 真值」这件事怎样进入损失函数。
「稀疏」这个词要单独讲清,因为它直接决定任务难度。输入在时间上不断变化,在视角上是不完整的:任一时间步上,有观测的视角只是 Q 个视角里的一部分,每个视角所用的曝光时间又从 E 里取值。把时间与视角摊成一张表,被填上的格子只是少数,各自带的曝光还不一样。稀疏性因此是双重的,时间轴与视角轴同时缺格子。作者由此把 HDR DNVS 与静态 HDR NVS 分开:后者可以依赖所有视角在固定光照下的完备观测,前者必须在时间轴与视角轴同时缺失的条件下把辐射度还原出来。
原文 §2(p.1–p.2)把前人工作分成两条线。第一条是新视角合成。它从多视几何方法(Schonberger & Frahm, 2016;Wang et al., 2021)起步,这类方法在遮挡、弱纹理区域与计算效率上受限;随后是以神经辐射场 NeRF(Mildenhall et al., 2021)为代表的连续场景表示,用坐标空间的隐式建模在空间平滑约束下做合成,代价是光线步进带来的高计算开销。3DGS(Kerbl et al., 2023)改用点式表示,把场景参数化成各向异性的三维高斯,把几何与外观解耦,支持实时渲染与镜面高光这类复杂效果。再往后还有频域监督(Liang et al., 2024)、深度正则化优化(Chung et al., 2024;Kung et al., 2024;Li et al., 2024)与省内存的设计(Wang et al., 2024c;Chen et al., 2024;Fan et al., 2024;Lu et al., 2024;Yang et al., 2025)。这条线的缺口是统一的:它们主要面向静态 LDR 场景。
第二条是 HDR NVS。HDR-NeRF(Huang et al., 2022)在神经辐射场上挂一个基于 MLP 的色调映射模块,把物理辐射度与数字色彩空间接起来。HDR-GS(Cai et al., 2024)把 3DGS 与一个神经色调映射器组合,显式建模 HDR 到 LDR 的辐射变换,在做到实时 HDR 渲染的同时超过基于 NeRF 的质量。GaussHDR(Liu et al., 2025a)把三维与二维色调映射统一进三维高斯泼溅。作者点出的共同缺口是:这些方法只面向静态场景,无论空间还是颜色空间都没有显式建模时间动态,因此对时变几何、非刚性运动或时间上演化的光照没有处理能力。
还有一层分类要交代,它直接影响下一章的选型。原文 §2 把基于 3DGS 的动态渲染分成两个方向:一个是形变式模型(deformation-based),维护一组规范空间下的高斯,再用随时间变化的形变场把它们推到目标时刻,换来时间上的连续,代价是运动跟踪不够精确;另一个是超维表示(hyper-dimensional representation),直接给高斯加上时间中心与时空旋转,把它扩成四维。两个方向都停在 LDR 输出,把它们推向高保真 HDR 动态新视角合成,就是本文要做的事。
两条线之外还有第三个位置。原文 §2 第二段(p.2)提到 Wu et al. (2024a) 已经初步研究过从 LDR 序列做动态 HDR 重建,但它的 HDR 输出从未被认真评测,也没有在真实场景上验证过,HDR DNVS 这个位置因此大体空着。本文的处理分两步:重做它的数据集,并额外拍一套真实数据集;两套数据都补上 LDR 与 HDR 配对训练图以及 HDR 定量评估。原文另补了一句口径,本文提出的模型给出更准确的 HDR 渲染结果,同时运行速度快了一个数量级。
两处定位可核:任务的形式定义在原文 §3 开头的 Problem 段(p.2),两条前人线的缺口分别写在 §2 的两段里(p.1–p.2)。两处并起来读,HDR DNVS 的新意在于时间维与动态范围维必须同时进入同一个模型,而前人两条线各只占其中一维。定义与缺口都清楚了,下一个问题是拿什么表示来承载它,这由第 3 章的底座回答。
3底座:4DGS 给了什么,缺的又是哪一块
第 2 章把任务收敛成 Fʰ : (t′, V′) → Iʰ_{t′,V′} 这一行,剩下的问题是拿什么表示来承载它。原文 §3.2(p.3)给的答案是 4D 高斯泼溅(4DGS,Yang et al., 2024),作者选它的理由是概念上干净、对动态场景的表述连贯。要看清这个选择带进来什么,需要把 4DGS 对 3DGS 的那一步扩展拆开写。
原文 §3.1(p.2)把 HDR-4DGS 的构成拆成两块:一个通用的动态场景表示模型,加上一个专门提出的动态色调映射机制。底座属于前一块,本章只看它,后一块留给第 4 章。作者在同一段里点明了这一层为什么必要:与 HDR NVS 相比,HDR DNVS 多出随时间演化的结构与光照,框架要重建的是四维的时空 HDR 辐射场。这样的分工也说明底座可以被替换,方法与具体表示之间留了一道缝。
4DGS 对 3DGS(Kerbl et al., 2023)的扩展就是加一个时间维度。原来像素观测量只依赖像平面上的空间坐标 (u, v),现在它还要显式依赖时间戳 t,于是 3DGS 的合成式被改写成四维版本,也就是式 3-1。
式 3-1 沿视线把每个高斯点的贡献做 alpha 合成(alpha compositing),四项记号各自承担一件事。pi(t) 是第 i 个高斯点在时间 t 上的边际概率(marginal probability),pi(u, v|t) 是给定 t 之后该点的条件空间概率,两者相乘得到联合概率 pi(u, v, t) = pi(u, v|t)·pi(t),N 是高斯点的个数。写成这样之后,时间与空间被同等对待,形成一个统一的四维高斯模型。
式末那个从 j = 1 累乘到 i − 1 的连乘项也要点一下。它把第 i 个点之前每个点的透射率因子连乘起来,作用与 3DGS 里的透射率项一致,让排在视线前方的点遮挡后方的点;前半部分则由该点在当前时刻的时间概率、在当前像素上的空间概率、不透明度 αi 与其颜色 ci 相乘得到。两半合起来看,每个高斯点贡献多少颜色,取决于它在当前时刻有多活跃、在当前像素上有多重要,以及它前方还剩多少透射率。
每个高斯的均值从三维扩到四维,写成 µ = (µx, µy, µz, µt);协方差矩阵(covariance)由 Σ = R S Sᵀ Rᵀ 给出,其中旋转矩阵 R 与缩放矩阵 S 也相应扩展。时间上的边际概率服从一维高斯分布 p(t) = N(t; µt, Σt),这里 N(·) 表示正态分布。这一串量共同决定某个高斯点在某一时刻的权重分布,进而决定它在合成式里贡献多少。
外观一侧,4DGS 引入 4D 球谐(4D SH)来表示外观随时间的演化,做法是把传统球谐(spherical harmonics)与傅里叶级数(Fourier series)结合起来。视角相关的颜色 ci 由这组 4D 球谐给出,辐射度随时间的动态变化因此可以被建模。作者说这一步支撑了后文做 HDR 与 LDR 翻译所需的辐射库(radiance bank)。本章只交代到这层联系,辐射库的构造放在第 5 章展开。
本文对底座做的改动只有一处:把 4DGS 的颜色表示空间从 LDR 颜色扩到 HDR 颜色,让辐射场能够覆盖真实动态场景里更大的亮度变化范围(原文 §3.2 末,p.4)。与之配套的一句定位在原文 §3.1(p.2)与 §3.2(p.3):HDR-4DGS 可以与现有的动态场景表示集成,以便更好地捕捉时空变化,选 4DGS 只是因为它概念上更干净、表述更连贯。这句话说明 DTM 与损失那一层并没有绑死在某个特定的动态表示上,本文把底座当作可替换的骨架,把改动集中在颜色域的桥接上。
改动很克制,代价却要记在账上:整套方法建在 4DGS 之上,后面 DTM、损失与评测的上限都由这个底座决定。附录 A.3 的局限一节明说,4DGS 起初并没有把 HDR 内容当作设计目标(原文原话为 was not specifically designed for HDR content),第 12 章的边界 1 会回到这一点。这里只把它记在方法链条的源头。
结论能落成一份清单:底座给出的是四维的统一表示,均值四维、协方差 Σ = R S Sᵀ Rᵀ、时间边际 p(t) = N(t; µt, Σt),外观走 4D 球谐,本文在这一层上只换了颜色空间。可核对的定位是原文 §3.2(p.3–p.4)与原文式 (1),底座对上限的限制写在附录 A.3。底座把时间与空间对齐了,颜色却仍停在 LDR,缺的那一块正好是下一章要补的。
4动态色调映射器:让色调跟着时间走
第 3 章把底座算清了:4DGS 把时间与空间同等对待,4D 球谐让辐射度随时间演化,颜色空间却仍是 LDR。缺的那一块就是 HDR 域与 LDR 域之间的桥。原文 §3.3(p.4)提出的动态色调映射器(Dynamic Tone Mapper,DTM)负责这块,它做的事可以压成一句:把 HDR 颜色、曝光时间与一段历史上下文拼起来,逐通道映射回 LDR,而这个映射本身随时间变。
定义一侧,原文给的条件是:给定时间戳 t、曝光时间 et 与当前的 HDR 颜色属性 cʰ_t ∈ R^{N×3},DTM 把 HDR 颜色翻译成对应的 LDR 颜色,也就是式 4-1。
式 4-1 的左边 cˡ_t ∈ R^{N×3} 是色调映射后的 LDR 颜色,右边把三样东西交给 DTM:当前的 HDR 颜色 cʰ_t、该时刻的曝光时间 et、以及时间戳 t 本身。读法很直白,每个高斯点的 HDR 颜色都能在给定曝光与时刻的条件下换成一个 LDR 颜色。两处记法要补一句:N 是高斯的个数,3 是颜色通道数,所以 cʰ_t 与 cˡ_t 都是「每个高斯点三个通道」的批量形式,DTM 对这批颜色整体做一次映射。这里出现的 et 与第 2 章输入定义里的那个 et 是同一个量,来自曝光时间集合 E。
式 4-1 只说了映射存在,没说映射长什么样,具体形式在式 4-2 里。
式 4-2 把「取对数的 HDR 颜色加上取对数的曝光时间」与上下文嵌入 ft 拼在一起,送进 g_θ;中括号表示拼接,g_θ 是逐通道色调映射函数(per-channel tone-mapping)。DTM 的输入因此由两部分组成,一部分是当前时刻的辐射信息,另一部分是时间上的辐射上下文。ft 是辐射上下文嵌入(radiance context embedding),由辐射库与动态辐射上下文学习器产生,本章先把它当作一个已经备好的向量,构造过程留给第 5 章。
「逐通道」这一点后面会有直接体现:三个颜色通道各自有一条映射,共用同一条曲线的情形被排除,这也是原文 §4.2 能分别讨论红、绿、蓝三个通道的前提。另有两处细节原文没有展开:送进 g_θ 之前把 HDR 颜色与曝光时间都取了对数,原文没有交代这一步的动机;映射函数 g_θ 的参数化形式沿用了 HDR-GS(Cai et al., 2024)的结构(原文 §4,p.5),原文没有重复给出它的细节。
两条解释必须写全。第一条是为什么乘曝光时间。原文说这一步与 CRF 的原理一致:CRF 把场景辐射度到观测强度的映射建模成依赖曝光的,因此在送进映射函数之前先按曝光做一次归一化,能保证不同曝光设定下的外观建模保持一致,也让训练更稳定(原文 §3.3,p.4)。第 1 章说过 LDR 图像的失真来自 CRF 的非线性压缩,这里让模型把 CRF 所依赖的那一维显式拿进输入,两处正好接上。
第二条是为什么带 ft。原文的说法是,带上辐射上下文之后,DTM 才能做辐射上下文感知的 HDR 到 LDR 翻译,从而改善动态场景里跨时间的辐射一致性(原文 §3.3,p.4)。把这条与第 1 章列出的第二类难点对上:稀疏 LDR 观测缺亮度先验,模型就必须自己从历史帧里把这个先验找出来。
DTM 在整篇文章里的分量,原文 §4.1 第 II 条(p.7)有一句表态:动态色调映射器在提升 HDR 合成上起中心作用,它把依赖曝光的辐射动态建模进时间上下文,从而做到精确的 HDR 到 LDR 翻译,并在训练与推理两个阶段促进稳定,这一点既影响高保真 HDR 渲染,也影响模型在变化光照下的泛化。至于换成现成的映射器会损失多少,第 9 章会用一组消融把账算出来。
这套设计的来路写在原文 §1(p.1):灵感来自生物视觉的自适应,视网膜感光细胞会随环境亮度动态调整(Clifford et al., 2007)。作者对自己的评价是,这套设计在概念上直接,却称得上直觉上优雅、计算上也高效,做法是把成熟的序列建模技术有策略地搬到 HDR DNVS 的核心难点上。原文对效率的这层评价要到第 7 章才有数字支撑,本章只把设计写清。剩下的两处接口留给后面:历史帧怎样变成 ft,是第 5 章要交代的辐射库与上下文学习;DTM 与 LDR 模型、HDR 模型之间怎样共同接受监督,是第 6 章要交代的损失。
图 4-1 的来历是原文 §4.2(p.7)的一段流程:训练完之后把学到的 DTM 模块连同辐射库一起取出来,两者共同定义一个以时间为条件的 HDR 到 LDR 映射;随后采样不同时间戳,把对应的色调映射曲线画在 HDR 强度上,就得到这张图。图上到底能读出什么,本章先不做结论,DTM 学到的究竟是动态映射还是静态映射,这个问题由第 9 章结合 §4.2 的三条观察来回答。
三条结论可核:DTM 的映射定义在原文式 (2)、逐通道函数在原文式 (5),两式都落在 p.4;乘曝光时间与带 ft 的理由各有一句原文交代,同样在 §3.3(p.4);颜色空间从 LDR 扩到 HDR 这一处改动,是第 3 章所说的本文对底座的唯一修改。
5辐射库与上下文学习:历史帧怎么进来
第 4 章把动态色调映射器(Dynamic Tone Mapper,DTM)的输入输出摆完,映射函数 g_θ 要吃两样东西:取对数并乘上曝光时间的 HDR 颜色来自当场的光栅化结果,另一件是上下文嵌入 ft。这一章专拆 ft 的来路。原文 §3.3 的做法分三步,先把每一帧压成一个辐射签名,再用一段滑窗把过去若干帧的签名收成序列,最后交给一个序列模型算出低维嵌入,三步各有一式,即原文的式 (3) 与式 (4)。
第一步是建辐射库(radiance bank)。原文说 DTM 借用 4DGS 通过 4D 球谐(4D SH)得到的显式辐射建模,把每个时间戳的平均 HDR 颜色统计存下来。这一步能成立,靠的是第 3 章交代过的底座性质:4DGS 把外观随时间的演化显式建模出来,视角相关颜色 ci 由 4D 球谐给出,辐射度随时间的动态变化因此可被表示,辐射库则把这份表示按时间戳聚合成可以喂给序列模型的标量序列。
辐射库按时间戳逐条存,一条只有三个数。原文 §4.4 把取数的位置说得更具体:DTM 是从辐射库(radiance bank)里取过去 k 个时间戳的辐射线索,配一个动态辐射上下文学习器来算。这条通道把空间信息让出去,换回一段序列模型能吃的短输入,每个时间步三个数,滑窗一次看 k 个。
式 5-1 说的是签名的算法:对时间戳 t,把全部 N 个高斯点的 HDR 颜色 cʰ_{i,t} 求和再除以 N,结果 rʰ_t 是一个三维向量,落在 R³ 里。一帧画面在这里被压成三个数,空间分布不保留,只留点集上的平均 HDR 颜色,物理含义就是该时间戳的平均辐射度。原文把它编号为式 (3),后面滑窗读的就是这条序列的历史。
式 5-2 把签名接进序列模型:用长度为 k 的滑窗取当前时间戳之前(含当前)的 k 帧签名,构成序列 rʰ_{t−k:t},交给动态辐射上下文学习器(Dynamic Radiance Context Learner,DRCL),输出 d 维向量 ft,落在 R^d 里,d 是上下文嵌入的维度。原文把它编号为式 (4)。窗口随 t 平移,每到一个新时间戳就重算一次,ft 因此是随时间滚动更新的那份状态。
实现口径有两处要记清。原文 §4 的实现细节写明,时间辐射上下文特征的维度取 2,也就是 d = 2;逐通道色调映射函数沿用 HDR-GS(Cai et al., 2024)的结构,DRCL 默认用 GRU(Cho et al., 2014)实现。DRCL 本身不限定某种网络,原文列了四种现成的序列模型:RNN(Salehinejad et al., 2017)、LSTM(Staudemeyer & Morris, 2019)、GRU(Cho et al., 2014)与 Transformer(Vaswani et al., 2017)。四种的横向对照落在第 9 章的表 9-4(原文 Table 9, p.17),本章只记默认口径是 GRU。原文没有就嵌入维度为什么定在 2 给出理由,这里按原值写。
k 的取值背后是一个结构性的取舍,原文 §4.4 写得很直白:k 大能覆盖更长的辐射动态,代价是冗余与对噪声更敏感,例如大范围快速运动或复杂光照变化的场景;k 小更看重眼前的时序线索,代价是建模复杂模式的能力,例如只有轻微运动或缓慢光照变化的场景。消融给出 k = 20 在响应动态场景与实际效率约束之间取得平衡(原文 Table 6, p.9),这份账由第 9 章核。本章要交代的只是取舍的形状:窗口长度换的是覆盖范围与鲁棒性,两头的代价都由场景的运动与光照尺度决定。
下面两张图是这条通道的下游产物。辐射库与上下文嵌入决定色调映射随时间怎么走,两图看的则是渲染出的 HDR 结果在时间上连不连贯。这条线在摘要与结论里被概括得很短:用辐射库与动态辐射上下文学习器驱动逐通道色调映射函数,让它在时间上自适应地连接 HDR 与 LDR 两个域(原文 §1、§5)。
图 5-1 是主文那一组对照,图 5-2 是同一件事在附录里的补充批次(原文附录 A.2 把更多可视化收在这里,Fig. 17 接着主文 Fig. 5 这条线走)。两张图的图内标签一样:一列参考、一列 HDR-HexPlane、一列本文,横轴都是时间。把它们并排看,是为了说明主文那一组的结论并非挑场景挑出来的 —— 同一个场景里,时间轴上的辐射变化在本文这一列是连续的,在对照那一列会出现跳跃。原文对这条的结论只写了一句话:本文在辐射过渡的时序连贯性上优于基线。
可核的结论有三条:辐射签名是一帧全部 N 个高斯点的平均 HDR 颜色,落在 R³(原文式 (3));上下文嵌入由长度 k 的滑窗经 DRCL 得到,维度 d 取 2、默认实现是 GRU(原文 §4);k 本身是覆盖与效率之间的取舍,取值由第 9 章的消融决定(原文 Table 6, p.9)。时间信息进网络的通道就是这三步,全程只走一条被压扁的平均颜色序列,逐点的空间结构没有进 DRCL。
6损失与联合优化:几何、辐射、色调一起学
第 5 章把上下文嵌入的来源交代完,DTM 的零件就齐了。接下来要看这些零件怎么被训练起来:几何(4D 高斯的均值、协方差与时间边际)、辐射(HDR 颜色与 4D 球谐)与色调(g_θ 与 DRCL 的参数)放进同一个目标函数一起优化。原文 §3.4 先给一条总目标,再补一条容易被忽略的像素级监督。
式 6-1 把总目标写成两项相加:LDR 域的损失 L_ldr 加上 α 倍的 HDR 重建损失 L_hdr。L_ldr 是在 LDR 域算出来的损失,L_hdr 是 HDR 重建损失。权重 α 的处理是这条式子最要紧的地方:原文写明,训练时如果拿不到 HDR 真值,α 就被置零,总目标退回只算 LDR 域那一项,有了配对的 HDR 数据两项才一起进梯度。原文把它编号为式 (6)。实现口径上,有 HDR 真值时 α 取 0.6(原文 §4 实现细节)。第 4 章的 DTM 在这里被纳入同一次优化:g_θ 与 DRCL 的参数由 L_ldr 与 L_hdr 联立学出来,映射路径与直接渲染路径两张图都进同一条 L_ldr。
原文接着讲了一条补丁。作者引 Liu et al. (2025a) 指出,直接对 HDR 高斯场做三维色调映射会过拟合,于是在已有的射线级监督(ray-level supervision)之外再加一层像素级监督(pixel-level supervision),给相机响应函数(CRF)的学习多加约束。这一层的写法是:把 HDR 高斯模型光栅化出的 HDR 图取对数、加上取对数的曝光时间,再与上下文嵌入拼起来,送进同一个 g_θ,得到 t 时刻映射出的 LDR 图。原文在同一段里把这个量记作 Iˡ_{t,2},前后又记作 Iˡ_{t,2D},两个记号指同一个量,这里按后者统一。
两级监督的分工在这里要摆清。射线级监督落在每条射线合成出的颜色上,管的是一条条光线的结果;像素级监督直接落在二维图上,管的是整幅映射出的 LDR 图与真值之间的差。原文把后者说成给 CRF 的学习多加约束,作用面比射线级更靠前。
原文 §4.1 第 II 条把这条监督体系的效果概括成两点:让 HDR 到 LDR 的翻译更准,同时在训练与推理时促进稳定,并说这一点对高保真 HDR 渲染与跨光照条件的泛化都必要。
训练时被同时监督的是两张图:映射出来的那一张 Iˡ_{t,2D},以及 LDR 模型直接渲染出的 Iˡ_{t,3D}。作者的判断是这条双重监督提升了学到的色调映射器的泛化能力,依据是消融 Tab. 5(原文 Table 5, p.9)。第 9 章会把这份账摊开,关掉像素级监督,HDR PSNR 从 25.88 掉到 24.85,差 1.03 dB。
把 α 的两档取值对到第 7 章的两张表上,能看出它们的分别:只用 LDR 监督的那一行对应 α 置零,LDR+HDR 联合监督的那一行对应 α = 0.6。监督列从 LDR 变成 LDR+HDR,动到的就是这个开关。
式 6-2 是一条通用的一对图之间的距离,写成 L1 与 D-SSIM 的加权和。原文的定义里,I₁ 与 I₂ 是配对的一对图,λ 平衡两项的贡献,两项分别是 L1 损失与 D-SSIM 损失(引 Huang et al., 2022;Nilsson & Akenine-Möller, 2020)。原文把它编号为式 (7),实现里 λ = 0.2(原文 §4)。下面两域的损失都套用这条形式。
式 6-3 把两域拆开落地:L_ldr 是两项之和,一项是映射出来的 Iˡ_{t,2D} 对 LDR 真值 Iˡ_t 的损失,另一项是 LDR 模型直接渲染的 Iˡ_{t,3D} 对同一个真值的损失;L_hdr 是 HDR 模型光栅化出的图对 HDR 真值的损失。原文把它编号为式 (8)。像素级监督就落在 L_ldr 的第一项上,那一项管的就是由 2D 路径映射出来的那张 LDR 图。
两处收尾细节在原文 p.5。其一,L_hdr 里的两个 HDR 量要先经过 µ-law 压缩才与 LDR 域对齐:原文把渲染出的 HDR 图 Iʰ_{t,2D} 与 HDR 真值 Iʰ_t 分别压成 Îʰ_{t,2D} 与 Îʰ_t,做法是把 1 加上 µ 倍的 min-max 归一化辐射度取对数、再除以 log(1+µ),µ 是压缩因子,norm(·) 表示 min-max 归一化,这一步把两域拉到同一尺度上比较。其二,最终对外报告的 LDR 渲染结果取的是高斯泼溅光栅化出的 Iˡ_{t,3D},映射路径上的 Iˡ_{t,2D} 只承担监督。
L_hdr 只在有配对 HDR 真值时才起作用,这条限制会在第 7 章的读数里显出后果。原文 §4.1 记下的两处失败都落在这条边界上:4DGS 在真实集上仅用 HDR 监督时难以重建,HDR-NeRF 在 LDR 与 HDR 同时监督下数值不稳定、经常优化失败。
口径可核:α 在没有 HDR 真值时置零、有真值时取 0.6;λ 取 0.2;像素级监督关掉会让 HDR PSNR 掉 1.03 dB;最终 LDR 结果取 Iˡ_{t,3D}。目标函数的结构说明三件事被放在一起学,几何与辐射由 HDR 与 LDR 两个高斯模型分担,色调由 g_θ 与 DRCL 承担,LDR 域那条损失同时管着映射路径与直接渲染路径两张图。
7主结果:两套数据集上把账各算一遍
第 6 章的目标函数定下来之后,看账之前还要先说清口径,否则两套数据集上的读数很容易被并成一句话。原文 §4 给的是统一设定:所有场景平均,指标用 PSNR 与 SSIM,另加 LPIPS 作感知指标;按前人做法(Cai et al., 2024;Huang et al., 2022;Liu et al., 2025a)用 Photomatix Pro(HDRsoft Team, 2025)把 HDR 图转成可显示的 LDR 图,再做定性可视化与公平比较;另外报训练时间与推理速度(fps)。本章把 HDR-4D-Syn 与 HDR-4D-Real 这两本账分开算,并自己复算一次加速倍数。
对手是 HexPlane(Cao & Johnson, 2023)、4DGS(Yang et al., 2024)、HDR-HexPlane(Wu et al., 2024a)、HDR-NeRF(Huang et al., 2022)与 HDR-GS(Cai et al., 2024)五家。两张表的监督列表头有两类标记要说清:∗ 表示只用 HDR 监督,† 表示 LDR+HDR 联合监督。HDR-HexPlane 的做法是给 HexPlane 加曝光条件与一个静态 Sigmoid 色调映射器,原文说它缺少 HDR 监督、也没对 HDR 输出做过显式评测,两点在这里被补齐,为的是公平比较与完整性;HDR-GS 与 HDR-NeRF 原本为静态场景设计,被改造到动态场景上,用以凸显显式空间建模在动态 HDR 重建里的分量,所有模型都用官方实现跑。
两张表的结构一样,读之前先把表头拉平:前三列是 Row、Method 与 Supervision,中间六列由 HDR 与 LDR 各罩住 PSNR/SSIM/LPIPS 三个指标,末两列是训练时间(min)与推理速度(fps)。原文用短横线表示这一项没有评测,只标 LDR 监督的行在 HDR 三列上就是空的。
表 7-1 主结果 · HDR-4D-Syn (原文 Table 1, p.5 · 数值取原文文字层,逐格未改)
| Row | Method | Supervision | HDR PSNR↑ | HDR SSIM↑ | HDR LPIPS↓ | LDR PSNR↑ | LDR SSIM↑ | LDR LPIPS↓ | Training time (min) | Inference speed (fps) |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | HexPlane | LDR | - | - | - | 14.20 | 0.564 | 0.551 | 28.45 | 1.60 |
| 2 | HexPlane∗ | HDR | 24.89 | 0.771 | 0.377 | - | - | - | 59.64 | 1.94 |
| 3 | 4DGS | LDR | - | - | - | 13.92 | 0.549 | 0.281 | 116.25 | 75.82 |
| 4 | 4DGS∗ | HDR | 22.40 | 0.650 | 0.345 | - | - | - | 44.58 | 172.61 |
| 5 | HDR-NeRF | LDR | 8.54 | 0.062 | 0.552 | 21.66 | 0.664 | 0.553 | 212.83 | 0.061 |
| 6 | HDR-GS | LDR | 4.64 | 0.158 | 0.645 | 6.45 | 0.272 | 0.423 | 13.88 | 380.38 |
| 7 | HDR-GS† | LDR+HDR | 14.33 | 0.360 | 0.482 | 10.84 | 0.372 | 0.378 | 22.50 | 255.21 |
| 8 | HDR-HexPlane | LDR | 14.70 | 0.649 | 0.287 | 32.59 | 0.912 | 0.145 | 37.83 | 1.61 |
| 9 | HDR-HexPlane† | LDR+HDR | 29.30 | 0.844 | 0.223 | 31.09 | 0.896 | 0.185 | 54.31 | 1.33 |
| 10 | HDR-4DGS (Ours) | LDR | 25.88 | 0.865 | 0.076 | 33.16 | 0.949 | 0.055 | 69.38 | 40.80 |
| 11 | HDR-4DGS† (Ours) | LDR+HDR | 30.40 | 0.914 | 0.097 | 30.69 | 0.927 | 0.097 | 76.86 | 48.63 |
表 7-2 主结果 · HDR-4D-Real (原文 Table 2, p.6 · 数值取原文文字层,逐格未改)
| Row | Method | Supervision | HDR PSNR↑ | HDR SSIM↑ | HDR LPIPS↓ | LDR PSNR↑ | LDR SSIM↑ | LDR LPIPS↓ | Training time (min) | Inference speed (fps) |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | HexPlane | LDR | - | - | - | 13.82 | 0.551 | 0.576 | 25.50 | 0.44 |
| 2 | HexPlane∗ | HDR | 32.76 | 0.893 | 0.242 | - | - | - | 28.24 | 0.49 |
| 3 | 4DGS | LDR | - | - | - | 7.99 | 0.072 | 0.620 | 42.50 | 290.57 |
| 4 | 4DGS∗ | HDR | 7.85 | 0.220 | 0.534 | - | - | - | 40.75 | 307.85 |
| 5 | HDR-NeRF | LDR | 14.60 | 0.711 | 0.411 | 8.326 | 0.029 | 0.943 | 212.25 | 0.17 |
| 6 | HDR-GS | LDR | 13.27 | 0.783 | 0.261 | 20.52 | 0.840 | 0.148 | 38.25 | 73.30 |
| 7 | HDR-GS† | LDR+HDR | 29.40 | 0.936 | 0.097 | 20.85 | 0.834 | 0.182 | 56.50 | 64.88 |
| 8 | HDR-HexPlane | LDR | 9.306 | 0.672 | 0.353 | 27.44 | 0.748 | 0.353 | 36.98 | 0.35 |
| 9 | HDR-HexPlane† | LDR+HDR | 33.03 | 0.904 | 0.192 | 28.12 | 0.767 | 0.307 | 44.43 | 0.24 |
| 10 | HDR-4DGS (Ours) | LDR | 14.50 | 0.884 | 0.200 | 26.88 | 0.825 | 0.221 | 98.75 | 35.27 |
| 11 | HDR-4DGS† (Ours) | LDR+HDR | 25.13 | 0.909 | 0.162 | 30.69 | 0.927 | 0.097 | 76.86 | 48.63 |
原文 §4.1 在给结论之前先记了两处失败。HDR-NeRF 在 LDR 与 HDR 同时施加监督时会遇到数值不稳定,经常导致优化失败;4DGS 在 HDR-4D-Real 上只用 HDR 监督时难以重建 HDR 场景,原文给的成因是真实集的 HDR 真值由二维方法生成,缺少多视角一致性。这两条是读表 7-2 时绕不开的前提。
先看合成集。HDR 三列上本文的 HDR-4DGS†(第 11 行)是 30.40 / 0.914 / 0.097,三项都排在 11 行里的最前;同栏的 HDR-HexPlane† 是 29.30 / 0.844 / 0.223,HDR-GS† 是 14.33 / 0.360 / 0.482,而 HDR-NeRF 与 HDR-GS 连 HDR 这一栏都撑不起来(第 5 行 8.54 / 0.062 / 0.552,第 6 行 4.64 / 0.158 / 0.645)。LDR 三列上本文第 11 行是 30.69 / 0.927 / 0.097,第 10 行(只用 LDR 监督的 HDR-4DGS)拿到 33.16 / 0.949 / 0.055,是 LDR 侧最好的那一行。LDR 三列上第 8 行 HDR-HexPlane(只标 LDR 监督)是 32.59 / 0.912 / 0.145,落在本文第 10 行之后,是 LDR 侧的第二名。原文把合成集上的领先归到两件事:显式的时空 HDR 辐射建模,以及动态色调映射机制,后者保住跨视角、跨曝光的时间辐射一致性。原文同时点出对手的短板,HDR-GS 与 HDR-NeRF 依赖静态色调映射器,跨不过 HDR 与 LDR 两个域之间的桥。
真实集的排序要如实写。HDR PSNR 最高的是 HDR-HexPlane† 的 33.03,其次是 HDR-GS† 的 29.40,本文 HDR-4DGS† 是 25.13。作者在 §4.1 第 I 条给的解释要原样带上:这条主要归因于真实集 HDR 真值里的噪声,以及 PSNR 这个指标已知的局限,它偏好过平滑或模糊的重建(Li et al., 2020),视觉证据是 Fig. 9,第 10 章会专门摊开这张图。读数上还有一处原文没有展开:真实集的 HDR SSIM 与 LPIPS 两列,HDR-GS† 的 0.936 与 0.097 都优于本文的 0.909 与 0.162,原文只对 PSNR 这一列给了归因,没有就这两列的排序作解释。LDR 侧本文第 11 行的 30.69 / 0.927 / 0.097 仍是三列最好。
还有一组落差可以对着看:HDR-HexPlane 在只标 LDR 监督时,合成集的 LDR 三列是 32.59 / 0.912 / 0.145,到真实集掉到 27.44 / 0.748 / 0.353。同一方法跨两套数据的落差不小,两套表的读数只能各按各的数据集写。
效率那边的账由本文赢。原文 §4.1 第 IV 条说推理比 HDR-HexPlane 最多快 36×(合成集)与 200×(真实集),训练时间保持可比。这里自己复算一遍,口径写明:按表 7-1 第 11 行的 48.63 fps 除以第 9 行 HDR-HexPlane† 的 1.33 fps,得 36.6×;按表 7-2 第 11 行的 48.63 fps 除以第 9 行的 0.24 fps,得 202.6×,两个结果与原文写的 36× 与 200× 量级对得上。原文还解释了一条反直觉的现象:加上 HDR 监督后本文的推理反而更快,表 7-1 与表 7-2 的第 10 行对第 11 行分别是 40.80 fps 对 48.63 fps、35.27 fps 对 48.63 fps,原因是 HDR 信号会有效压缩模型,不再需要多余的高斯点去逼近 LDR 到 HDR 的变换。
训练时间这一列也要照着表读。本文第 11 行在两张表里都是 76.86 min,HDR-HexPlane† 是 54.31 min 与 44.43 min,HDR-GS† 是 22.50 min 与 56.50 min。原文的措辞是训练时间保持可比,表里看,本文的训练成本在 11 行里属于偏长的一档,效率上的优势集中在推理一栏。
表 7-2 的第 11 行还有一处可核对的异常:它的 LDR 三列 30.69 / 0.927 / 0.097 与训练时间 76.86 min、推理速度 48.63 fps,与表 7-1 第 11 行完全相同。两个不同数据集上出现四位小数一模一样的三个指标加两个耗时,几乎只能是原文版面的复制粘贴遗留。这里按原值引用并把这个疑点标出来,不替作者改正,也不据此推翻真实集 LDR 侧的结论。
另一处读表发现落在表 7-1:本文第 11 行的 LDR PSNR 是 30.69,高于同一行的 HDR PSNR 30.40。同一行的两条读数各有来历,引用时各按各的列写。原文在第 IV 条里给过一条相关的机制解释,加入 HDR 监督会有效压缩模型,不再有多余高斯点去逼近 LDR 到 HDR 的变换;原文没有单独就这一处排序逐条解释,这里照原值引用,不替它改判。
结论要按数据集分开核:HDR-4D-Syn 上本文的 HDR 三列最好(30.40 / 0.914 / 0.097),HDR-4D-Real 上 HDR PSNR 最高的是 HDR-HexPlane† 的 33.03,真实集的 LDR 侧本文仍然领先;推理速度本文在两张表里都是 48.63 fps,对 HDR-HexPlane† 的 1.33 fps 与 0.24 fps 分别快 36.6× 与 202.6×。
8定性对比:把它和四家摆在一起看
第 7 章的账在真实集上留了一个缺口,PSNR 那一列的最高分属于对手。原文 §4.3 开头先说明为什么还要看图:PSNR、SSIM、LPIPS 是常用指标,未必能完整反映感知质量,因此另做定性评估。本章按原文的顺序把定性证据摆一遍,再交代作者自己承认的那处失败面,最后用一组实验说明另一条路线为什么走不通。
接着把两套数据集分开看。图 8-1 是合成集那一组,图 8-2 是真实集那一组(原文 Fig. 2 的图注写 HDR-4D-Syn、Fig. 3 写 HDR-4D-Real,两图的图内栏目标签各自列出参考与几家对手)。读法一致:先在同一列里确认参考长什么样,再横向比谁丢掉了极端亮度。原文对真实集这一组的说法比合成集具体 —— HDR-GS 在重建动态物体上吃力,HDR-HexPlane 倾向给出过度平滑的结果。这也解释了为什么第 10 章要专门处理"真实集上 PSNR 更高的是对手"这件事。
把两张图上的失败面并起来看:合成集上 HDR-HexPlane 复现不出极端的辐射细节,本文抓住了更多精细结构;真实集上 HDR-GS 在重建动态物体上吃力,HDR-HexPlane 倾向给出过度平滑的结果,本文在表示动态场景的同时保住了更细的细节。原文还补了一句跨时间的判据,时间辐射一致性对 HDR-HexPlane 同样是挑战,本文给出时空上连贯的 HDR 结果,证据指向图 5-1。
本章两图与附录那几张补充对照的关系也交代一句:原文 §4.3 结尾把更多可视化对比指向附录 A.2,也就是第 12 章要接的那批补充对照(Fig. 10 到 Fig. 13),它们在结构上与图 8-1、图 8-2 同型,换的只是场景批次。原文在这两张图上没有给出读数,判断只落在文字结论上,读者若要把主张核得更实,还得回到第 7 章的两张表与第 10 章那张指标批判的图上去。
一处让步要原样保留。原文 §4.1 第 I 条写着 HDR-4DGS 在可动区域会出现结构退化,作者把这条局限归因于底座 4DGS 的表达能力,而非 HDR-4DGS 处理动态范围时的不稳定。作为旁证,原文指向附录的 Fig. 10 与 Fig. 11,原生 4DGS 的结构扭曲与几何丢失更严重,HDR-4DGS 把这些退化缓解到可察觉的程度,这一点被作者用来支撑 HDR 建模策略的有效性。这条自陈限定了本章定性的读法,本文在细节与色彩上领先,可动区域的几何仍有短板,短板记在底座账上。
表 8-1 把单曝光 LDR 交给四种单图 HDR 重建模型(两阶段管线) (原文 Table 3, p.8 · 数值取原文文字层,逐格未改)
| Method | HDR PSNR ↑ | HDR SSIM ↑ | HDR LPIPS ↓ |
|---|---|---|---|
| 4DGS + EIN (Liu et al., 2025b) | 17.75 | 0.770 | 0.185 |
| 4DGS + IntrinsicHDR (Dille et al., 2024) | 11.63 | 0.673 | 0.251 |
| 4DGS + KPNet (Wang et al., 2024a) | 20.92 | 0.813 | 0.197 |
| 4DGS + KUNet (Wang et al., 2022) | 19.00 | 0.715 | 0.172 |
| HDR-4DGS (Ours) | 25.88 | 0.865 | 0.076 |
表 8-1 只报 HDR 三列,没有 LDR 三列,也没有训练时间与推理速度两列,与表 7-1、表 7-2 的十列结构不同,这样排是为了让四种单图模型与本文在同一组 HDR 指标上直接对照。这组实验在原文里也只配了表 8-1 这一张表,没有可视化对照。它跑在合成集上,原文 §4.4 开头说明消融研究都在 HDR-4D-Syn 上做,更多实验放在附录 A.2。
最后一步是把另一条路线关掉。原文 §4.4 第一段交代了那组实验:在单曝光 LDR 图上训练 4DGS(曝光时间 2.0s),再把新视角的合成 LDR 图交给四种现成的单图 HDR 重建模型去转成 HDR,四家是 EIN(Liu et al., 2025b)、IntrinsicHDR(Dille et al., 2024)、KPNet(Wang et al., 2024a)与 KUNet(Wang et al., 2022)。表 8-1 的 HDR PSNR 读数是 17.75 / 11.63 / 20.92 / 19.00,四种里最高的是 KPNet 的 20.92,本文是 25.88。作者的判断原样带上:把单曝光 LDR 输入转成 HDR 本身是一个病态问题,缺失的辐射信息无法脱离场景重建过程被可靠恢复,因此这条两阶段管线明显不如本文;本文的做法是把辐射表示与新视角合成联合优化,作者据此认为这条整合路径必要且不可替代。
表 8-1 末行的 25.88 / 0.865 / 0.076 与表 7-1 第 10 行(只用 LDR 监督的 HDR-4DGS)完全相同,也与第 9 章消融表里 DTM 那一行相同,三处出现同一组读数。SSIM 与 LPIPS 两列上,四种两阶段方案里最好的 KPNet 是 0.813 与 0.197,本文是 0.865 与 0.076。
可核的结论:定性上两张图各自点出对手的一类失败,HDR-HexPlane 缺极端辐射细节、倾向过度平滑、时间辐射一致性也成问题,HDR-GS 重建动态物体吃力;作者自陈可动区域的结构退化归因于底座 4DGS;两阶段管线里最高的 KPNet 是 20.92,本文是 25.88,原文把独立 HDR 那条路判为病态问题。
9消融:四组对照各说明一件事
第 8 章把 HDR-4DGS 与四家对手摆在同一批场景上比过,也交代了独立 HDR 那条两阶段管线为什么走不通。本章换一个方向,把 HDR-4DGS 自己的部件逐个拆下来检查:色调映射器换成别人会怎样,那条像素级监督去掉会怎样,上下文窗口该多长,序列模型该选哪一个。按原文 §4.4 的说明,这组消融全部在 HDR-4D-Syn 上进行,更多实验放在附录 A.2(原文 p.8、p.17)。四组对照都报 PSNR↑ / SSIM↑ / LPIPS↓ 三列。
第一组把 DTM 换成现成的色调映射器。表 9-1 给出四行读数:经典方法 Reinhard(Reinhard et al., 2023)22.10 / 0.812 / 0.210,Durand(Durand & Dorsey, 2000)22.85 / 0.825 / 0.195,HDR-GS 用的那个 MLP 静态映射 23.92 / 0.841 / 0.142,DTM(本文)25.88 / 0.865 / 0.076。三个对手里 MLP 最强,它是 HDR-GS(Cai et al., 2024)与 HDR-NeRF(Huang et al., 2022)用来做静态色调映射的部件;即便拿它当基准,DTM 的 PSNR 仍高出 1.96 dB,LPIPS 从 0.142 降到 0.076。作者的读法是,换成任何现成映射器都会出现明显退化,这说明显式建模时间上的辐射变化对保住 HDR 保真度是关键的(原文 p.8)。作者补了一句:针对场景表示的补充消融表明,增益主要来自 DTM,4DGS 本身难以单独带来(原文 p.8)。
表 9-1 消融一:色调映射器换成谁 (原文 Table 4, p.9 · 数值取原文文字层,逐格未改)
| Method | PSNR↑ | SSIM↑ | LPIPS↓ |
|---|---|---|---|
| Reinhard (Reinhard et al., 2023) | 22.10 | 0.812 | 0.210 |
| Durand (Durand & Dorsey, 2000) | 22.85 | 0.825 | 0.195 |
| MLP (HDR-GS) | 23.92 | 0.841 | 0.142 |
| DTM (Ours) | 25.88 | 0.865 | 0.076 |
第二组检查那条像素级监督。表 9-2 只有两行:去掉它,HDR 三列是 24.85 / 0.853 / 0.169;保留它,25.88 / 0.865 / 0.076。两行的 PSNR 差是 1.03 dB,原文的写法是关掉像素级监督会让 PSNR 掉 1.03 dB。原文的解释是,射线级与像素级约束的联合优化为学习物理上合理的色调映射算子提供了必要的监督信号(原文 p.9)。这条监督给 CRF 的学习多压一层约束,抑制对 HDR 高斯场直接做三维色调映射带来的过拟合。
表 9-2 消融二:像素级监督要不要 (原文 Table 5, p.9 · 数值取原文文字层,逐格未改)
| Pixel-level Supervision | HDR PSNR↑ | HDR SSIM↑ | HDR LPIPS↓ |
|---|---|---|---|
| No | 24.85 | 0.853 | 0.169 |
| Yes | 25.88 | 0.865 | 0.076 |
第三组定上下文窗口的长度 k。表 9-3 四行分别是 k = 5 得 24.74 / 0.852 / 0.092,k = 10 得 24.76 / 0.851 / 0.098,k = 20 得 25.88 / 0.856 / 0.076,k = 30 得 24.29 / 0.825 / 0.094,k = 20 是四行里最好的。原文把这个超参的取舍说得直白:k 大能覆盖更长的辐射动态,代价是冗余与对噪声更敏感,例如运动大而快或光照动态复杂的场景;k 小更看重眼前的时序线索,代价是建模复杂模式的能力,例如运动轻微或光照缓慢变化的场景(原文 p.9)。这里有一处必须单独指出的读表发现:表 9-3 里 k = 20 那一行的 SSIM 是 0.856,而表 9-1 与表 9-2 里同一配置的 SSIM 是 0.865,同一配置在两处差 0.009。本章按各表的原值分别引用,两处都不改动。
表 9-3 消融三:时间上下文长度 k (原文 Table 6, p.9 · 数值取原文文字层,逐格未改)
| Row | k | HDR PSNR↑ | HDR SSIM↑ | HDR LPIPS↓ |
|---|---|---|---|---|
| 1 | 5 | 24.74 | 0.852 | 0.092 |
| 2 | 10 | 24.76 | 0.851 | 0.098 |
| 3 | 20 | 25.88 | 0.856 | 0.076 |
| 4 | 30 | 24.29 | 0.825 | 0.094 |
第四组定 DRCL 用哪种序列模型,这组实验放在附录 A.2(原文 p.17)。表 9-4 四行:RNN(Salehinejad et al., 2017)25.63 / 0.847 / 0.100,LSTM(Staudemeyer & Morris, 2019)25.53 / 0.845 / 0.106,GRU(Cho et al., 2014)25.88 / 0.865 / 0.076,Transformer(Vaswani et al., 2017)25.06 / 0.817 / 0.101。作者的原话是,Transformer 类模块在长程依赖建模上有理论优势(Wen et al., 2023),实验里 GRU 的表现更好;他们把这条结果与近期序列特征提取里的发现放在一起,即 GRU 在捕捉局部时序模式上更高效(Li et al., 2023)(原文 p.17)。也由于这条读数,实现里 DRCL 默认用 GRU(原文 p.5)。
表 9-4 消融四:上下文学习器换成哪种序列模型 (原文 Table 9, p.17 · 数值取原文文字层,逐格未改)
| Network | HDR PSNR ↑ | HDR SSIM ↑ | HDR LPIPS ↓ |
|---|---|---|---|
| RNN (Salehinejad et al., 2017) | 25.63 | 0.847 | 0.100 |
| LSTM (Staudemeyer & Morris, 2019) | 25.53 | 0.845 | 0.106 |
| GRU (Cho et al., 2014) | 25.88 | 0.865 | 0.076 |
| Transformer (Vaswani et al., 2017) | 25.06 | 0.817 | 0.101 |
四组数值之外还有一条视觉证据:原文把 DTM 换成 MLP 基线,在同一个动态场景上用两套架构合成时间上连贯的 HDR 序列(原文 p.9)。图 9-1 是这件事的补充结果,落在 HDR-4D-Syn 上;原文的结论是带 DTM 的 HDR-4DGS 在辐射过渡的时序连贯性上优于基线,能捕捉更平滑的细节并维持光度一致(原文 p.17、p.20)。
这四组对照合起来回答第 4 章留出的那个问题:DTM 学到的是动态映射还是静态映射。原文 §4.2 的做法是,训练完之后把学到的 DTM 与辐射库一起取出来,两者共同定义一个以时间为条件的 HDR→LDR 映射,再采样不同时间戳,把对应的色调映射曲线画在 HDR 强度上(原文 p.7)。原文对这批曲线给了三条观察,逐条转述。(I)所有曲线单调递增,与 CRF 的定义一致(Huang et al., 2022),但呈现场景特有的图案,说明这是自适应的色调再现。(II)在 Airplane 场景里,红通道的曲线始终落在绿蓝之上,反映该场景偏红的色调;随着飞机从阴影移动到更亮的区域,曲线随时间上移,跟住上升的亮度。(III)在 Bed 场景里,随着床展开、环境光变暗,曲线逐渐下移。原文说这些时间上的变化确认了 DTM 能适应不断变化的光照条件与场景内容(原文 p.7)。本章的可核对结论是:四组消融分别定下映射器、监督、窗口长度与序列模型,§4.2 的三条观察把 DTM 随时间变化的性质落在曲线上。
10PSNR 高不等于看得对:LDR 与 HDR 的分野
第 9 章用四组消融把 DTM、像素级监督、窗口长度与序列模型逐个定稳。本章回到第 7 章留下的那个疑点:在 HDR-4D-Real 上,HDR 侧的 PSNR 最高的是 HDR-HexPlane† 的 33.03,其次是 HDR-GS† 的 29.40,本文的 25.13 排在其后(原文 p.6)。作者没有回避这个读数,专门画了一张图来说明 PSNR 这个指标会骗人。这里先把表里的两个标记说明白:∗ 表示只用 HDR 监督,† 表示 LDR 与 HDR 联合监督(原文 p.5、p.6)。
图 10-1 的图注原话是 "PSNR prefers over-smooth or blurry images",也就是 PSNR 偏好过平滑或模糊的图;画面分三栏,栏内标签分别是 HDR-HexPlane、HDR-4DGS 与 Ground Truth。页内直接标出两个读数:HDR-HexPlane 的 PSNR 是 30.36,HDR-4DGS 的 PSNR 是 19.86(原文 p.17)。在这组对照里,本文的 PSNR 比对手低 10.5 dB,作者的判断是观感反而更好。为了让 HDR 图能显示,这幅图里的 HDR 图像用 Photomatix Pro(HDRsoft Team, 2025)做了色调映射(原文 p.17)。
要把这个不一致的性质讲清,还得回到第 7 章的评测设定。原文 §4.1 的 Results 段先声明,这一节的发现聚焦在 HDR DNVS 的表现上(原文 p.6);而 §4.3 开头给出的理由是,PSNR、SSIM 与 LPIPS 这些常用指标未必能完整反映感知质量,因此作者另做定性视觉评估(原文 p.7)。把可以核对与不能核对的分开:能核对的,是页内那两个读数 30.36 与 19.86,以及表 7-2 上 HDR 侧那一列 PSNR 的完整排名;不能核对的,是图 10-1 里两幅重建的观感高低,以及图 10-2 与图 10-3 里的画面细节。
这里要把这个论断的性质摆清楚。它由两部分组成:作者的解释,加上一幅视觉证据。作者在 §4.1 第 I 条把真实集上的差距归因于两点,一点是真实集 HDR 真值里的噪声,另一点是 PSNR 这个指标已知的局限,它偏好过平滑或模糊的重建(Li et al., 2020)(原文 p.6)。这两点都属于作者的判断,读者拿不到可复算的中间量;页内能核对的只有那两个读数。本章不替作者下结论,只把第 7 章的真实集读数与这幅图并排放着,读者自己判断。
把真实集 HDR 侧的三列拆开看,排名并不一致。表 7-2 里 HDR-HexPlane† 的 PSNR 33.03 最高,HDR-GS† 的 29.40 次之,本文 25.13 排第三;SSIM 列的最高值是 HDR-GS† 的 0.936,本文 0.909 高于 HDR-HexPlane† 的 0.904;LPIPS 列同样是 HDR-GS† 的 0.097 最低,本文 0.162 优于 HDR-HexPlane† 的 0.192(原文 p.6)。三个指标各指向一个不同的赢家,单看一个数难以替真实集上的观感排序。
与 HDR 侧配对的是 LDR 这一侧的两张定性格。图 10-2 是 HDR-4D-Syn 上的 LDR DNVS 对比,图 10-3 是 HDR-4D-Real 上的同一类对比;它们与第 8 章那两张 HDR 侧的对照(原文 Fig. 2 与 Fig. 3)配对读。原文对这两张的说明是:HDR-4DGS 在这两个数据集上都有更好的颜色保真度与细节保留;对照之下,HDR-HexPlane 又有明显的模糊伪影,HDR-GS 没能准确恢复场景的色度,这进一步损害了它带光度一致性去渲染动态物体的能力(原文 p.17)。
图 10-2 与图 10-3 是同一件事在两套数据集上的两批:Fig. 14 对应 HDR-4D-Syn,Fig. 15 对应 HDR-4D-Real,两张图的图注只差数据集名。它们与第 8 章那两张的分工要分清 —— 第 8 章看的是 HDR 侧的渲染,这两张看的是 LDR 侧。这样安排是为了把两件事拆开:「本文方法在 LDR 侧同样成立」是可并列比较的画面,而「PSNR 会骗人」是作者的主张;一个用图说话,一个需要读者自己判断。
还要交代一条取数纪律:图 10-1 的曲线与曲线形状、图 10-2 与图 10-3 的画面细节,都无法从文字层核对,正文只引原文写出的读数与结论,不替它读图上没写出来的数。把两件事放在一起看:在 HDR-4D-Syn 上,本文的 HDR 三列 30.40 / 0.914 / 0.097 是 11 行里最好的;在 HDR-4D-Real 上,PSNR 指向的是 HDR-HexPlane†。本章的可核对结论是,真实集上的指标排名与作者主张的观感排名不一致,这一不一致由原文以"真值噪声加上指标偏好过平滑"来解释,并配了一张页内只标出 30.36 与 19.86 两个数的图来支持。
11两套基准:合成 8 个场景与真实 4 段序列
第 10 章摊开的是指标与观感的分歧,本章回到产生这些读数的两套数据本身。HDR DNVS 此前没有基准,这两套数据集是本文立任务时一并交出的东西(原文 p.5)。它们的分工很清楚:合成集负责在受控环境里给出高保真真值,真实集负责解开"真实数据没有 HDR 真值"这个死结。
原文 §4 的交代是:HDR-4D-Syn 有 8 个合成动态场景,改编自 Wu et al. (2024a) 的数据集,特点是多曝光视频序列加同步的多视角 LDR 视频流,对应的 HDR 真值帧被重新合成,以保证高保真监督与评测;HDR-4D-Real 拍了 4 段真实室内动态场景,用六台同步的 iPhone 14 Pro 在三种不同曝光时间下录制,真值 HDR 图由 UltraFusion(Chen et al., 2025)生成(原文 p.5)。
附录 A.1 把采集与处理展开(原文 p.15)。合成集用 Blender 合成,内部再分两类配置:单目采集配置四个,分别是 Airplane、Deer、Lego 与 Tank,特点是不同视角上施加不同的曝光时间;多视角立体配置四个,分别是 Hook、Jump、Mutant 与 Standup,特点是每个视角都捕获多曝光的 LDR 图。作者特意说明,他们渲染多曝光图时采用的是不同的曝光时间,而未采用曝光值(exposure value),这样才能精确控制辐射采样的间隔。真实集一侧用的是固定多相机设置,六台相机装在三脚架上;在引入任何动态元素之前先拍空场景的多视角静态图,用 COLMAP(Schonberger & Frahm, 2016)算出精确的内外参,建立稳定的空间参考;整段动态采集过程里所有相机位置与光学参数都保持不变,因此不需要重新标定;每台相机在每个时间戳上拍三张不同曝光时间的图,例如 1/120s、1/50s 与 1/20s。附录 A.1 另有一条 Remark 说明这种同步同型号相机做法的理由,即同步保证时间一致性、同型号免去跨相机的辐射标定(原文 p.15)。
表 11-1 是合成集的规模表,8 行对应 8 个场景,列分成训练与测试两组,各含 Frames、HDR 与 LDR 三个数,末三列是 Cameras、Resolution 与 Exposure Time (s)。有两条算术关系可以核:训练 Frames 乘 Cameras 得到训练 HDR 图数,Airplane 280×1、Deer 80×1、Lego 240×1、Tank 136×1、Hook 28×10、Jump 21×10、Mutant 135×3、Standup 51×5 这八行全部成立;HDR 与 LDR 的帧数比在 1 与 3 之间摆动,Airplane、Deer、Lego、Tank 与 Mutant 是一比一,Hook、Jump 与 Standup 是一比三。相机数这一列在 1 与 10 之间摆动,8 个场景的分辨率都是 800×800,曝光时间序列都是 0.125/2/32。
表 11-1 HDR-4D-Syn 的规模(8 个合成场景) (原文 Table 7, p.15 · 数值取原文文字层,逐格未改)
| Scenes | Training Frames | Training HDR | Training LDR | Testing Frames | Testing HDR | Testing LDR | Cameras | Resolution | Exposure Time (s) |
|---|---|---|---|---|---|---|---|---|---|
| Airplane | 280 | 280 | 280 | 70 | 70 | 70 | 1 | 800×800 | 0.125/2/32 |
| Deer | 80 | 80 | 80 | 20 | 20 | 20 | 1 | 800×800 | 0.125/2/32 |
| Hook | 28 | 280 | 840 | 4 | 40 | 120 | 10 | 800×800 | 0.125/2/32 |
| Jump | 21 | 210 | 630 | 3 | 30 | 90 | 10 | 800×800 | 0.125/2/32 |
| Lego | 240 | 240 | 240 | 60 | 60 | 60 | 1 | 800×800 | 0.125/2/32 |
| Mutant | 135 | 405 | 405 | 14 | 42 | 42 | 3 | 800×800 | 0.125/2/32 |
| Standup | 51 | 255 | 765 | 8 | 40 | 120 | 5 | 800×800 | 0.125/2/32 |
| Tank | 136 | 136 | 136 | 34 | 34 | 34 | 1 | 800×800 | 0.125/2/32 |
表 11-2 是真实集的规模表,只有 4 行,正文按表列全:Bed 的训练三项是 22、132、317,测试三项是 22、79、79,Cameras 为 6,曝光时间是 0.004/0.008/0.017;Excavator 的训练三项是 40、240、576,测试三项是 40、144、144,Cameras 为 6,曝光时间是 0.002/0.008/0.033;Tank 的训练三项是 20、40、96,测试三项是 20、24、24,Cameras 为 2,曝光时间是 0.007/0.02/0.05;Toys 的训练三项是 20、40、96,测试三项是 20、24、24,Cameras 为 2,曝光时间是 0.008/0.02/0.1。这里有两处可核的关系:Bed 与 Excavator 的 Cameras 都是 6,与 §4 那句"六台同步的 iPhone 14 Pro"对得上;Tank 与 Toys 是 2,原文没有解释这个差异。分辨率这一列四行一致,都是 4032×3024,明显高于合成集的 800×800。
表 11-2 HDR-4D-Real 的规模(4 段真实序列) (原文 Table 8, p.15 · 数值取原文文字层,逐格未改)
| Scenes | Training Frames | Training HDR | Training LDR | Testing Frames | Testing HDR | Testing LDR | Cameras | Resolution | Exposure Time (s) |
|---|---|---|---|---|---|---|---|---|---|
| Bed | 22 | 132 | 317 | 22 | 79 | 79 | 6 | 4032×3024 | 0.004/0.008/0.017 |
| Excavator | 40 | 240 | 576 | 40 | 144 | 144 | 6 | 4032×3024 | 0.002/0.008/0.033 |
| Tank | 20 | 40 | 96 | 20 | 24 | 24 | 2 | 4032×3024 | 0.007/0.02/0.05 |
| Toys | 20 | 40 | 96 | 20 | 24 | 24 | 2 | 4032×3024 | 0.008/0.02/0.1 |
两张补充图把表格里的数变成可见的对照。图 11-1 是 LDR 与 HDR 图像序列的对照,四个动态场景 Airplane、Lego、Mutant 与 Tank 各占一行,列 (a)/(c)/(e) 是不同曝光时间与不同时间间隔上的 LDR 图,列 (b)/(d)/(f) 是对应的 HDR 图;图里的曝光时间标注是 et = 0.125s、2s 与 32s,与表 11-1 的曝光时间序列对得上。图 11-2 是真实集的构成,两行分别是 Bed 与 Excavator,列 (a) 到 (c) 是不同曝光设置但时间上同步的 LDR 图,列 (d) 是对应的 HDR 图(原文 p.16)。这两张图里的画面内容不可文本核对,正文只引原文图注写出的这层结构。
两套数据集的体量与构成差异,最后落到两张图上。图 11-1 是合成集那一侧,四个场景(Airplane、Lego、Mutant、Tank)逐行排开;图 11-2 是真实集那一侧,只有 Bed 与 Excavator 两个场景。两者的列含义也不同:合成集那一组的列是 LDR 与 HDR 两类图像序列的对照,真实集那一组的列是同一场景在不同曝光设置下拍到的 LDR 图。读真实集那张时要盯住曝光这一栏 —— 真值 HDR 正是从这些不同曝光的 LDR 图里生成的,这正是第 12 章边界 5 要交代的那件事的来源。
最后把这两套数据上的实现口径与算力差异写齐。原文 §4 的交代是:训练用 Adam 优化器,参数与 4DGS(Yang et al., 2024)相同;DTM 的学习率是 5×10⁻⁴,时间辐射上下文特征的维度取 2;逐通道色调映射函数沿用 HDR-GS(Cai et al., 2024)的结构,DRCL 默认用 GRU(Cho et al., 2014);式 (7) 里 λ = 0.2,有 HDR 真值时 α = 0.6(原文 p.5)。附录 A.2 补了初始化与算力:运动单目视频上运动恢复结构(Structure-from-Motion,SfM;Schonberger & Frahm, 2016)很难可靠工作,因此合成场景与真实场景用了不同的初始化,合成场景每个随机初始化 5×10⁴ 个高斯,真实场景用稠密重建点云初始化且输入图下采样 4 倍;两种情况下训练迭代次数都与 4DGS 保持一致;所有实验跑在单张 NVIDIA RTX 4090 上(原文 p.17)。本章的可核对结论是:8 与 4 两个场景数、两种真值生成方式(重新合成与 UltraFusion)、以及训练 Frames 与训练 HDR 图数之间的乘法关系,都能在表 11-1 与表 11-2 上逐格核对。
12补充对照、可复现性与边界
第 11 章把两套数据集的规模与实现口径摆齐,本章收尾:先把附录那四张补充对照的定位讲清,再摆可复现性、伦理与局限,最后收 8 条边界。
原文附录 A.2 的末段是一批补充可视化,四张图分两组。图 12-1 与图 12-2 分别是 HDR-4D-Syn 与 HDR-4D-Real 上的补充对比,对照对象是原生 4DGS(Yang et al., 2024);原文的结论是 4DGS 在保住细粒度细节上持续吃力、在可动区域频繁出现结构退化,而本文即便用 4DGS 作底层表示也明显保住了更好的细节保真度,这一结果反过来印证了 DTM 在细节保持上的作用(原文 p.17)。图 12-3 与图 12-4 是另外一批场景上的 HDR DNVS 渲染结果,分别在 HDR-4D-Syn 与 HDR-4D-Real 上;原文的定性结论是 HDR-4DGS 持续保住精细的结构细节、生成观感上有说服力的渲染,对照之下 HDR-HexPlane 倾向产生空间模糊的区域,HDR-GS 在重建动态内容上明显失败、得到不完整的渲染(原文 p.17)。四张图与第 8 章那两张 HDR 侧定性格同型,差别只在场景批次;作者的定位是它们把同一结论铺到更多场景上,并不引入新的比较对象(原文 p.17)。
这四张是同一件事的四批,先看前两张。图 12-1 与图 12-2 的图注写的是 DNVS 的补充可视化对比,分别对应 HDR-4D-Syn 与 HDR-4D-Real;后面两张(图 12-3、图 12-4)的图注多了 HDR 两个字,同样分列两套数据集。原文把它们都收在附录 A.2 的 Additional visualization results 之下,用于支撑同一句话:原生 4DGS 在这些场景上持续保不住细节。四张的读法一致,看的是同一列里参考与各家重建的结构能否对上。
两套数据集各有一批补充对照,图 12-3 是合成集那一批的第二组,与图 12-1 同属 HDR-4D-Syn。把它与图 12-1 并排看,回答的是"图 12-1 是不是挑了个好场景"这个问题。原文在这四张上给结论的方式一致:先点出原生 4DGS 的失败面,再说本文在同样以 4DGS 为底座的前提下把这些退化缓解到可察觉的程度 —— 这一句是全篇把增益归因到色调映射器而不是底座的旁证。
最后一张是真实集那一批的第二组,与图 12-2 同属 HDR-4D-Real。到这里四张补充对照的分布可以说清了:合成集两张、真实集两张。四张的图注都只写数据集、不写场景名,因此正文不逐张点名场景;这批场景名要从原图的页内标签读,而标签在文字层里是可核的 —— 合成集的八个场景是 Airplane、Deer、Hook、Jump、Lego、Mutant、Standup、Tank,真实集的四段序列是 Bed、Excavator、Tank、Toys(与表 11-1、表 11-2 的场景列表一致)。
可复现性一侧,原文给了两处口径。Reproducibility Statement 说,作者的承诺是完整代码将在论文最终录用后公开;在代码公开之前,用 §3 的方法描述加上 §4 与附录 A.2 的实现细节来支撑独立复现,这几节合起来覆盖了 HDR-4DGS 的全部关键部件(原文 p.10)。摘要的末尾另给了代码地址 https://github.com/prinasi/HDR-4DGS(原文 p.0)。这两处一处说"将于录用后公开"、一处已经给出仓库,口径不一致;本章如实并列,不对仓库里的内容与可用性作任何描述或推断。
伦理声明(Ethics Statement)说明研究面向虚拟现实、影视内容创作与沉浸式临场感这类非恶意用途;实验用的合成数据在受控仿真环境中生成,真实场景在全体参与者与业主知情同意的前提下拍摄,发布的数据里不含个人可识别信息;作者表示不预期直接的负面社会影响,同时承认任何新视角合成技术都可能被误用,例如生成误导性视觉内容,并呼吁负责任地使用、倡导合成媒体生成的透明化(原文 p.10)。
局限一节(Limitations)有三条。第一条是表示本身:当前方法建立在 4DGS 表示之上,而 4DGS 当初的设计并未针对 HDR 内容(原文原话 was not specifically designed for HDR content);作者指出的方向是为 HDR 四维场景专门设计表示,加入有物理依据的先验或自适应辐射基,以更好覆盖极端光照变化并强制长程时间一致性。第二条是时间窗:DTM 用的是固定时间窗,作者提出按运动幅度或辐射方差自适应调整感受野的机制,认为它可以显著改善计算效率与重建精度。第三条出在当前景与背景外观相似的时候,例如 HDR-4D-Syn 里的场景跳变,HDR-4DGS 可能在动态边界出现欠佳的颜色再现或空间模糊,作者据此提示显式建模语义或运动边界可以进一步消歧动态内容、增强复杂场景变化下的辐射一致性(原文 p.19至p.20)。LLM 用法一节说明,本篇对大语言模型的使用严格限于润色手稿的语言与呈现,不参与研究内容;作者举 §4 数据集描述为例,给出润色前的草稿原文,并说明修改只涉及语言,技术内容与事实主张没有改动(原文 p.20至p.22)。
综合各章的读数与主张,这一篇可以收成八条边界。
边界 1: 本文建在 4DGS(Yang et al., 2024)之上,而 4DGS 当初的设计并未针对 HDR 内容(原文附录 A.3 原话 was not specifically designed for HDR content)。可动区域的结构退化,作者把它归因于底座表达力,未归因于 HDR 机制(原文 §4.1 第 I 条)。
边界 2: 真实集 HDR 侧 PSNR 最高的一项属于对手:HDR-HexPlane† 33.03、HDR-GS† 29.40、本文 25.13;作者的解释是真值噪声加上 PSNR 偏好过平滑(原文 §4.1 第 I 条、Fig. 9)。这一解释属于作者的判断,读者拿不到可复算的事实。
边界 3: 原文表 2 末行疑为复制粘贴遗留。表 7-2 第 11 行的 LDR 三列(30.69 / 0.927 / 0.097)与训练 76.86 min、推理 48.63 fps 与表 7-1 第 11 行完全相同;正文按原值引用,不替作者改正,据此对真实集 LDR 侧的任何推论都要保留。
边界 4: 上下文窗口是固定的。DTM 用的是固定时间窗,k = 20 是四行消融里的最优值,这是一个需要人定的超参,尚未做成自适应机制;作者自己在局限里指出,按运动幅度或辐射方差自适应调整感受野是未来方向(原文附录 A.3)。
边界 5: 训练数据里"HDR 真值"本身有两类来源。合成集是重新合成的 HDR 真值,真实集是用 UltraFusion(Chen et al., 2025)这种二维方法生成的 HDR 真值,后者缺乏多视角一致性;原文明确说这就是 4DGS 在 HDR-4D-Real 上仅用 HDR 监督时难以重建的原因(原文 §4.1 Results 段)。
边界 6: 两个对手是在被改造后才比得上的。HDR-GS 与 HDR-NeRF 原本是为静态场景设计的,本文把它们改造到动态场景上,目的是凸显显式空间建模在动态 HDR 重建里的重要性(原文 §4.1 Competitors 段);HDR-HexPlane 本身缺少 HDR 监督,也没做过 HDR 输出的显式评估。这几条限定了"打败了谁"的读法。
边界 7: 代码可用性与可复现口径不一致。摘要末尾给出 https://github.com/prinasi/HDR-4DGS,而 Reproducibility Statement 写完整代码在最终录用后公开;正文两处并列,不对仓库内容做任何描述或推断。
边界 8: 本篇只用 LLM 做语言润色(原文附录 A.4),不参与研究内容;这条与伦理声明(真实数据在知情同意下采集、不含个人可识别信息、承认可能被误用生成误导性视觉内容)一并作为使用范围边界列出。
13贡献块
贡献块
这一篇的贡献可以按「把任务立起来」与「把解法做出来」两条线收。
第一条是任务。作者指出前人的两条线各缺一半:新视角合成默认场景静止、输入还是低动态范围;HDR 新视角合成敢跨动态范围,却把场景当成不动的。已有的动态 HDR 尝试(Wu et al., 2024a)虽然碰了这个方向,但HDR 输出从未被认真评估、也没在真实场景上验过,还缺 HDR 监督。于是作者把缺的那块补成一个正式问题:HDR DNVS —— 从稀疏、随时间变化的 LDR 输入,重建时间上连贯的 HDR 辐射场与动态几何。与之配套的是两套基准:HDR-4D-Syn(8 个合成动态场景,HDR 真值重新合成)与 HDR-4D-Real(4 段真实室内序列,六台同步 iPhone 14 Pro、三种曝光拍摄),两套都带 LDR/HDR 配对训练数据与 HDR 定量评估。
第二条是解法。HDR-4DGS 的底座是 4DGS,作者只把它的一处改动做了:颜色表示空间从 LDR 扩到 HDR。真正的核心新增件是动态色调映射器 DTM,它的三段结构在正文第 4、5 两章已经摊开:用辐射库存每个时间戳的平均 HDR 颜色(式 (3)),用滑窗 + DRCL把过去 k 帧读成一个低维上下文嵌入(式 (4),默认 GRU、维度取 2),再把「取对数并乘上曝光时间的 HDR 颜色」与这个嵌入拼起来送进逐通道色调映射函数 g_θ(式 (5))。作者给这个设计找的来路是生物视觉:视网膜感光细胞会随环境亮度动态调整(Clifford et al., 2007)。
第三条是训练上的那条补丁。作者说直接对 HDR 高斯场做三维色调映射会过拟合,所以在已有的射线级监督之外再加一层像素级监督:既监督由 HDR 图映射出来的 LDR 图,也监督 LDR 模型直接渲染出的图(式 (8) 的 LDR 那两项)。消融给这条补丁的定价是1.03 dB(表 9-2 的 24.85 到 25.88)。
账面上的收束分两处,不能合并说。合成集上 HDR 侧本文是 11 行里最好的:PSNR 30.40 / SSIM 0.914 / LPIPS 0.097。真实集上 PSNR 最高的是 HDR-HexPlane† 的 33.03,本文是 25.13 —— 作者把这条归因于真实集 HDR 真值里的噪声与PSNR 这个指标偏好过平滑或模糊重建(引 Li et al., 2020),并画了 Fig. 9 作证。效率侧是本文赢:推理 48.63 fps,比 HDR-HexPlane 快约 36×(合成集)与 200×(真实集);作者另外解释了一条反直觉的现象 —— 加上 HDR 监督反而让推理更快,因为 HDR 信号会压缩模型、不再需要多余的 Gaussian 点去逼近 LDR→HDR 的变换。
本站在文里额外做了一件事:把每张原表按文字层逐格取出来重排,并对读表结果做了复算(36.6× 与 202.6×,与原文的 36×/200× 对得上),同时标出原文表 2 末行与表 1 末行完全相同这处疑点。这属于精读该做的核对,并没有替作者下判断。
14原文出处块
标题:Dynamic Novel View Synthesis in High Dynamic Range
作者:Kaixuan Zhang、Zhipeng Xiong、Minxian Li、Mingwu Ren、Jiankang Deng、Xiatian Zhu。单位分别是南京理工大学(前四位;Minxian Li 为通讯作者,minxianli@njust.edu.cn)、帝国理工学院(Jiankang Deng)、萨里大学(Xiatian Zhu)。
发表:ICLR 2026(The Fourteenth International Conference on Learning Representations)会议论文。预印本 arXiv:2509.21853v3 [cs.CV],v3 日期 2026-01-28。原文 22 页,Letter 开本双栏;正文含 8 个编号公式、17 张图、9 张表,另有 5 页参考文献与 7 页附录(A.1 Datasets、A.2 Additional Experiments、A.3 Limitations、A.4 大语言模型用法)。
授权:CC BY-NC-ND 4.0(Creative Commons 署名—非商业性使用—禁止演绎 4.0 国际)。原文 PDF 内没有任何许可声明(逐页检索 Copyright / Creative Commons / CC BY / License 等词,只命中参考文献里的 arXiv 号);本页所据的许可来自 arXiv 摘要页的 License 链接。按该许可,本站可原样引用与站内托管,不得改作、不得商用。
附材料:原文摘要末尾给出代码地址 https://github.com/prinasi/HDR-4DGS;而同一篇的 Reproducibility Statement 写的是「完整代码将在论文最终录用后公开,在此之前以 §3 的方法描述、§4 与附录 A.2 的实现细节支撑独立复现」。两处口径不一致,本站如实并列,不对该仓库的内容、可用性作任何描述或推断。
原文全文:站内托管 PDF(10.4 MB) · arXiv:2509.21853(canonical 版本)
本站按 CC BY-NC-ND 4.0 原样托管原文 PDF,未作任何修改(不裁切、不拼接、不加标注);两处内容若不一致,以 arXiv 版本为准,引用时请标注 arXiv:2509.21853v3 与 ICLR 2026。
使用说明:本页是论文精读,未做全文翻译,也不代表原作者的观点汇总。正文里的方法描述、数值与结论均标注了原文出处(页码口径 [p.N],从 0 起);17 张图按实测包围盒从原文 PDF 裁取原样引用,未裁切拼接、未加标注、未施滤镜,逐图署名;9 张表按原文文字层逐格取值后以 HTML 重排,数值未改位数。本页的作者主张与本站的核对发现是分开写的:凡属作者主张(例如 PSNR 偏好过平滑、可动区域结构退化归因于底座)均标明是原文的判断;凡属本站核对(表格逐格取值、加速倍数复算、表 2 末行与表 1 末行完全相同的疑点)均标为实读发现。文中所有数据以原文为准;若原文后续版本有修订,以 arXiv 最新版为准。