"Due to the real-time rendering performance, 3D Gaussian Splatting (3DGS) has emerged as the leading method for radiance field reconstruction. However, its reliance on spherical harmonics for color encoding inherently limits its ability to separate diffuse and specular components, making it challenging to accurately represent complex reflections. To address this, we propose a novel enhanced Gaussian kernel that explicitly models specular effects through view-dependent opacity. Meanwhile, we introduce an error-driven compensation strategy to improve rendering quality in existing 3DGS scenes. Our method begins with 2D Gaussian initialization and then adaptively inserts and optimizes enhanced Gaussian kernels, ultimately producing an augmented radiance field. Experiments demonstrate that our method not only surpasses state-of-the-art NeRF methods in rendering performance but also achieves greater parameter efficiency."
- 缺口立在「球谐编码」这一步上:3DGS 用三阶球谐建模视角相关辐亮度,原文判词是这一步内在地限制了它表达辐射场的能力 —— 球谐是视角的函数,没法把漫反射与镜面分开(§1, p1)。前人两条线各差一步:NeRF 派靠方向编码或额外镜面分支;高斯派仍不能在渲染方程里解耦漫反射与镜面(§2, p2);Spherical Beta(DBS)做出了解耦,但表达不了很复杂的反射(§2, p2)。
- 解法是把 Phong 搬到不透明度上:给每个高斯核加视角相关的不透明度 lobe(式 4-1:θ 是夹角、T 控宽度、β 调锐度),用半周期余弦换更长的尾与更平滑的衰减;每个补充核只多 5 个可学参数(§3.1, p3)。
- 三步流程与「后增强」定位:图像空间用 2D 高斯拟合残差(式 5-1/5-2)→ 逆高斯泼溅反投影回世界空间(式 6-1/6-2/6-3,最优缩放系数有闭式解)→ 冻结原高斯多数参数、联合精修新增核(§3.1–§3.4)。
- 主结果:四个数据集上无论二阶还是三阶球谐都优于 SOTA NeRF(Zip-NeRF)与 DBS,实时速度几乎不损(表 8-1)。Mip-NeRF 360 上
Ours (MCMC, sh=3)为 28.96/0.849/0.170,对 28.54/0.828/0.189 与 28.60/0.844/0.182 分别高 +0.42 dB 与 +0.36 dB(本站复算)。 - 参数效率:二阶球谐比三阶少 21 个参数/基元而画质相当(§4.1, p7);加阶数不值得这一条在表 9-3 上量了出来 —— 3→4 阶 PSNR 只 27.47→27.55,内存 608 → 887 MB。
- 消融把功劳分清(表 9-2,基线 28.33 dB):去掉 lobe 只 +0.12 dB、固定覆盖率 π/2 +0.27 dB、完整模型 +0.63 dB。插入比例(表 9-1):补充高斯占总数 10% 最优(表注写明「基元总数不变」)。
- 开销那一笔是正的(表 10-1):
Ours (3DGS, sh=3)27.9(纯后处理 15.0)分钟、691 MB、110 FPS;对比Spec-Gaussian44.8 分钟、882 MB、43 FPS ⇒ 更省内存、FPS 高得多(附录 D, p16)。 - 增益的分布有规律(表 10-5 与附录 D, p16):室外约 0.1 dB、室内复杂光照与材质 1–2 dB;
∆LPIPS全为负值。 - 分解能做出来但没法打分:Id = min(Ish0, Iaug)、Is = Iaug − Id(§4.3, p9);原文明确数据集无镜面真值故不给定量指标(附录 D, p16),且过曝不可逆会带来分解瑕疵(§4.3, p9)。
- 作者的自我划界:反投影依赖训练相机深度图、未引入几何约束或深度网络 ⇒ 投影核不贴合物体表面;两阶段策略拉长重建时间;固定比例在漫反射主导场景下冗余;NeRF Synthetic 上略逊于 DBS(34.35 对 34.64);T/β 无法预先定;图像空间优化把原渲染当作背景(§3.4;附录 E, p17)。
1立题:球谐编码的天花板
3D 高斯泼溅之所以成为辐射场重建的主流方法,靠的是实时渲染性能;而它的颜色编码用的是球谐。这一章要讲清的是:球谐这套参数化本身,就是这篇要绕开的那道墙。原文的判词写得很直接:3DGS 用三阶球谐建模视角相关辐亮度,这一步内在地限制了它表达辐射场的能力(3DGS employs third-order spherical harmonics (SH) to model view-dependent radiance, thereby inherently limiting its ability to represent the radiance field.,§1, p1)。
为什么是「内在」的限制?因为球谐是视角方向的函数:给定一个方向,它吐出一个颜色。它能把「同一个点从不同角度看颜色不同」这件事记住,但记不住这份变化里哪一部分来自漫反射、哪一部分来自镜面。于是当反射变得复杂(高光的形状不规则、有多个反射方向)时,球谐要么拟合不出来,要么得靠更高的阶数去硬堆。原文把这条因果链的下一环也点明了:依赖球谐做颜色编码,本质上妨碍了把漫反射与镜面分开(摘要, p0)。
这一篇的解法不往阶数上加,而是换一个参数化的位置:给高斯核加一个视角相关的不透明度(view-dependent opacity),改写自经典的 Phong shading,把镜面显式放在不透明度 lobe 上;再通过叠加多个这样的核,去表达本来要靠高阶球谐才凑得出来的复杂辐射分布。原文给出的三条贡献是(§1, p2):一个带视角相关不透明度的增强高斯核、一条误差驱动的自适应插入策略、以及在超越 SOTA NeRF 方法的同时几乎不损失实时渲染速度、并降低对高阶球谐的依赖。
even using second-order spherical harmonics (sh=2) is sufficient to capture complex illumination)。②读法(怎么读):这张图要看的是镜面的形状而不是整体清晰度 —— 读的顺序是同一个场景里,增强前的高光是不是「糊成一片」,增强后有没有出现方向明确、边界更利落的高光;这也是本篇全部主张的缩影(把镜面从不透明度上表达出来)。图内标签之外不读值,量在第 8、9 两章的表里。
来源:Augmented Radiance Field: A General Framework for Enhanced Gaussian Splatting(ICLR 2026 · arXiv:2602.19916v1)· 图 1 · 未修改引用(arXiv 非独占分发许可,非 CC)
「分离」这件事为什么值钱,值得补一句。渲染方程里那些与视角无关的部分(漫反射反照率、粗糙度这类材质属性)和与视角强相关的部分(镜面高光、环境反射),在物理上就是两回事:它们随视角变化的规律不同,能承受的下游操作也不同。一旦混进同一个视角函数里,重光照(换一套环境光看同一场景)、材质编辑(只改高光或只改底色)、镜面一致性(新视角下高光位置对不对)这几类事就都做不干净:因为你没法只动其中一半。这就是原文把「无法分离」当作硬伤、而不是当作精度问题的原因。
再从参数账上看一眼本篇的立场。球谐的表达能力随阶数上升,代价是每个基元的系数成倍增长;本篇反过来,把方向性收进一个只有三个形状参数的 lobe(与两个原有属性共 5 个),让每个核在「某个方向特别不透明」这件事上取得表达能力。两种花法谁更划算,原文没有停在论述上:第 9 章的表 9-3 把「加阶数」那一侧量了出来(3→4 阶:PSNR +0.08、内存 +279 MB)。
图 1-1 传达的那句「二阶球谐就够用」,后面在表 9-3 上有量化支点:把球谐阶数从 3 升到 4,PSNR 只从 27.47 抬到 27.55(+0.08),内存却从 608 MB 涨到 887 MB。也就是说,本篇主张的不是「用更少的球谐也行」,而是把这份表达能力换到另一个维度上去花。
2前人线:从方向编码到 Spherical Beta
把镜面单独拎出来建模,这条路在 NeRF 时代就有人走。原文在 §2 里把前人收成两支(§2, p2–p3)。
第一支是 NeRF 派:为了在体渲染里表达反射,人们试过对方向做编码(IDE 那条线),也试过挂一个额外的镜面分支(GDE、NDE 等),或者干脆用多个网络分别管漫反射与镜面;还有一类是 deferred 路线,先把几何与材质渲出来、再补光照。这一支的共同代价是模型的复杂度与查询次数上去了:多一个网络就多一次前向,多一次前向就少一分实时性。
第二支是高斯派:把镜面搬进高斯里。原文点名了一串做法(Spec-Gaussian、GaussianShader、DeferredGS、EnvGS、Ref-GS,以及把 NeRF 当助手的路子),并给出这一支的判词:这些基于高斯的方法在渲染方程里仍然不能解耦漫反射与镜面,原因还是球谐本身的限制(existing Gaussian-based approaches still cannot decouple diffuse and specular components in the rendering equation due to the inherent limitations of spherical harmonics.,§2, p2)。
第三处参照是 Spherical Beta(DBS):它换掉了球谐,用 beta 核去建模颜色的方向分布,确实做到了解耦。但原文紧接着指了它的短处:beta 核表达不了很复杂的反射(the beta kernels fall short in representing very complex reflections.,§2, p2)。附录 B 把这条短处讲到机理层:在同样的不透明度设置下(所有核 α = 0.5),beta 那套做法为了补偿上层核的遮挡,需要让下层的颜色幅值呈指数级增大;而核的深度次序在渲染中会动态变化,于是这套补偿本身就不稳定(附录 B, p14)。
本篇站在这个夹缝里:既然问题出在「用颜色去承载方向性」,那就改用不透明度去承载方向性:让每个核对外辐射的贡献权重随视角变化,而不是让它的颜色随视角变化。原文认为这样做在稳定性与灵活性上都明显更强(附录 B, p14)。这条对比在阶段 9 章会落到图 9-1 上。
三支之外还有一处细节值得记:NeRF 派里有一类做法并不把镜面塞进方向编码:它改成 deferred 两段式,先把几何与材质属性渲成中间缓冲,再在屏幕空间补光照;这样能把反射做得更自由,但多出一段渲染管线,与「实时」的距离反而更远。本篇选的路线与这一支在动机上很像(都想把方向性从颜色里拆出来),差别在于它不新增管线,而是把方向性挂在已有的高斯基元上。
与 Spherical Beta 的关系也要说清,免得读成「换了个核函数」。DBS 的方向是:颜色怎么随视角变,用一个 beta 核去描述,于是漫反射与镜面在颜色层面被拆开。本篇借的是「用一个有方向性的核去承载视角依赖」这个想法,但把它从颜色挪到不透明度:核的颜色照旧,它有多不透明才随视角变。这一步挪动的后果在附录 B 里被讲成稳定性差别:颜色幅值的补偿会随深度次序变化而失真,不透明度上的 lobe 则让每个核的贡献可以单独解耦(附录 B, p14)。第 9 章的图 9-1 把这段机理画了出来。
把三支的长度摊开看,还能看出一个共同点:它们各自解决的都是「怎么表达」,而不是「怎么把表达拆开」。方向编码让颜色随视角变,beta 核让颜色的方向分布更自由,多网络则把镜面交给另一个模型;这三条路都在「用什么参数描述视角依赖」上做文章。本篇换的是被描述的量:不问「颜色怎么随视角变」,而问「这个基元在该方向上有多不透明」。改量的好处是它与渲染的 alpha 混合直接相乘,方向性天然进入合成权重,不需要再额外设计一条合成规则。
再往下一层看,三条前人线其实共用同一个技术前提:方向性必须挂在某个「随视角变化」的量上。NeRF 派挂在颜色与方向编码上,beta 核挂在颜色分布上,多网络挂在另一个模型的输出上。而这个「随视角变化」的量在渲染里到底怎么参与合成,决定了方向性能不能被单独调 —— 颜色参与的是加权求和里被乘的那一项,而不透明度参与的是权重本身。本篇选后者的理由就落在这里:改权重比改被加权的量更接近渲染方程的结构。
本章不留图。三段前人线各自让出什么,汇总成一句:
本章不留图。三段前人线各自让出什么,汇总成一句:
本章不留图。三段前人线各自让出什么,汇总成一句:NeRF 派让出的是「实时」,高斯派让出的是「能解耦」,Spherical Beta 让出的是「能表达复杂反射」—— 而本篇要的是第三件事。
3方法总览:三步走,且是个「后增强插件」
整条流程分三步(图 3-1,原文 Fig.2, p3),第一步在图像空间:不从头造 3D 高斯,而是先用一批「2D 高斯」去拟合当前渲染结果与目标之间的残差;这些 2D 高斯带坐标、尺度、旋转、不透明度、颜色与深度六项参数(式 5-1),其中深度是用来排序的。第二步做几何反投影:把这批 2D 高斯搬回世界空间(逆高斯泼溅,式 6-1 至 6-3),定出它们在 3D 里的旋转与尺度。第三步是联合精修:原来那批高斯的多数参数被冻结,只放开一部分,新增的核与原高斯一起做多视角优化(§3.1–§3.4, p3–p6)。
定位这件事值得单独说一句,因为它决定了后面所有账的读法。本篇是后增强(post-enhancement):它不重训原来的表示,而是在一个已经训好的场景上再插一批增强核。原文在结论里把这一点说成优点:作为后处理步骤,它可以对多数 3DGS 类框架即插即用(§5, p9)。因此读账时要记住:「原场景」与「增强后」是两个态,表 10-5 至 10-7 里的 ∆ 列正是两者之差;而表 8-1 里 Ours 与 3DGS/3DGS-MCMC 的对比,也是「同一框架加不加增强」的对比。
把三步各自的输入输出摆清楚,后面读表时就不会串:第一步输入是「已训好的 3DGS 场景」与「当前渲染相对目标图像的残差」,输出是一批图像空间的 2D 高斯;第二步输入是这批 2D 高斯与相机参数、深度图,输出是它们在世界空间的旋转与尺度;第三步输入是原高斯与新增核,输出是增强后的场(附录 C, p16;§3.4, p6)。三步的边界很干净,因此本篇可以只重跑其中一段,这也是它敢叫「后增强」的底气。
「冻结原高斯多数参数」这句话也要落到具体:被优化的原高斯参数只有可见基元的不透明度一项(用 SparseAdam,附录 A, p14),其余(位置、颜色、尺度的多数分量)不动。原文给的理由是尽量不破坏已经学好的东西;而放开不透明度的必要性在第 3 章的流程里能看出来:新增核插在原有结构之间,如果原核完全不透明且不可调,新核就会被整体挡住,写不进画面。
适用前提同样值得写明:本篇假设原场景已经训好、相机参数已知(它从残差出发,而残差要拿渲染结果与目标图像比才能算)。这套增强是在一个既有的重建之上做加法,不解决「从零开始怎么建」的问题。
还有一条隐含假设要写明:这套流程默认当前渲染结果是可以拿到并逐像素比较的,因此原场景必须能渲出与训练视角对应的图像。这不是限制(3DGS 本来就具备),但它解释了为什么后增强可以做在训练视角上:残差是从训练图像算的,相机位姿已知,不需要额外的几何信息。也正因如此,第 6 章那条「深度图质量决定反投影精度」的边界才如此关键。
这一定位也带来了它自己的成本:
这一定位也带来了它自己的成本:两阶段策略拉长了重建时间,原文在局限里承认了这一点,并给出可能的缓解方向:把新增高斯的初始化并进原场景的训练过程(附录 E, p17)。
4视角相关不透明度:把 Phong 搬到不透明度上
要让一个高斯核「知道自己从哪个角度看最亮」,最直接的办法是给它的不透明度加一个方向依赖的分布,而不是给颜色加。原文的做法改编自经典 Phong shading,把核的球面透明度分布写成式 4-1(§3.1, p3)。
式子里三个量各有分工:α 是这个核的不透明度属性(也就是它「本来有多不透明」);θ 是视角方向与该核 lobe 中心朝向之间的夹角;T 控制 lobe 的角展宽(越大越散),β 调制它的锐度(越大越尖)。原文对形状有两条明确要求:数值化的核不透明度被严格限制在某个范围内,并且在视角方向与 lobe 中心朝向一致时取到峰值(§3.1, p3)。
形状函数的选择也交代了理由:本篇用的是半周期余弦(Phong 的一个变体),而不是更硬的函数。原文给的说法是它有更长的尾、衰减更平滑,因此梯度更稳(Our function exhibits a longer tail and a smoother decay in opacity, resulting in more stable gradients,§3.1, p3)。这一句不是修辞 —— 它意味着即使视角已经偏离 lobe 中心很远,这个核仍然贡献一个小但不为零的不透明度,而不是干脆被切掉;对优化来说,梯度不会在边界上突然消失。
T 变大时 lobe 变宽、β 变大时变尖、α 决定整体高度;把三者的效果分开看,才能理解后面联合优化为什么要给 T 与 β 单独设很小的学习率(T 是 0.0002、β 是 0.002)。图内标签之外不读值。
来源:Augmented Radiance Field: A General Framework for Enhanced Gaussian Splatting(ICLR 2026 · arXiv:2602.19916v1)· 图 3 · 未修改引用(arXiv 非独占分发许可,非 CC)
把式 4-1 与经典 Phong 的差别再说清一点:Phong 里那条余弦幂曲线乘在镜面反射项上,管的是「这个方向能收到多少高光」;本篇把同族的曲线乘在核的不透明度上,管的是「这个核在这个方向能贡献多少颜色」。前者的方向性属于材质(由一个表面的法线与粗糙度决定),后者的方向性属于基元(由每个高斯的 lobe 朝向决定);这一点差别很重要:它使得同一块表面的不同基元可以各有各的高光朝向,而不必共享一个法线。
参数开销是这一章最值得记的一笔
参数开销是这一章最值得记的一笔:每个补充核只比默认的 3DGS 配置多 5 个可学参数(§3.1, p3)。换句话说,这篇用「不透明度上的方向性」换掉了「颜色上的高阶球谐」,而代价只有 5 个标量:对照表 9-3 里「3 阶升 4 阶要多 279 MB 内存」,这笔交换的账就很清楚了。
形状函数为什么用半周期余弦而不是更硬的截断,还可以从优化角度再讲一句。若用硬阈值(视角一偏离就把核切掉),lobe 的边界上不透明度从有到无是断裂的:优化时只要视角落在边界附近,梯度要么很大、要么直接为零,核的朝向就容易被推到「讨好当前视角」而牺牲其它视角的位置上。半周期余弦把那道断口换成一段缓慢衰减的尾巴(原文:longer tail and a smoother decay,§3.1, p3),于是偏离中心的视角仍然贡献一点不透明度,梯度是连续的。这与第 7 章给 T 与 β 配极小学习率是同一件事的两面:形状参数要慢慢动,形状本身也要平滑。
与经典 Phong 的差别也顺手记下:Phong 里那条 cosⁿ 曲线调制的是镜面反射的强度,它乘在光照项上;本篇把同族的曲线移到核的不透明度上,也就是让「这个基元在这个方向上能贡献多少」随视角变化。改动的落点很小,但它把方向性从「颜色怎么算」搬到了「几何怎么叠」。
最后是一条边界:T 与 β 没法事先定下来。镜面 lobe 该多宽多尖,取决于场景里那块材质到底怎么反光,原文的态度是它只能靠后续的多视角优化精修(Since the shape of the specular lobe cannot be predetermined, its values are ultimately refined through subsequent multi-view optimization.,§3.3, p5–p6)。这也解释了第 7 章为什么给这两个参数配了很小的学习率:它们动得越慢越稳。
5误差驱动插入:先在图像空间把 2D 高斯练好
上一章给了核的样子,这一章回答往哪里加核。本篇的做法绕了一步:不直接在 3D 里撒点,而是先在图像空间用一批 2D 高斯去拟合当前的残差,然后才把它们搬回 3D。这样做的直觉是:哪里错得明显,哪里就该有核,而「哪里错得明显」在图像上看得最清楚。
2D 高斯的参数集写成式 5-1(§3.2, p4)。六项里前五项与 3D 高斯同族(图像坐标、主轴尺度、旋转角、不透明度、颜色),第六项 d 是深度,它管的是排序、不参与渲染:反投影回 3D 时要靠它把前后关系摆对。
往哪插入由误差驱动决定:采样概率按像素损失的多项式给出(式 5-2),损失用原 3DGS 那套 L1 与 SSIM 的复合、权重也沿用原文的 λ_SSIM(§3.2, p4)。这条设计的意思可以直说:残差越大、被采样为新核位置的概率越高,而残差是像素级的,所以采样会自然地聚到高光边缘、细结构这类没学好的地方。
采样与剔除之间还有一个节拍上的关系:每 200 次迭代增补一次(附录 A, p14),而增补之后被剪掉的核不会再回来。这意味着第一批插进去的核位置会显著影响最终结果:若第一批全落在某一块高光上,后面几轮会围着它扩建;好在采样是按残差的多项式分配、而残差每轮都在变,因此插入位置会随训练推进从「错得最大」逐步转向「错得次大」。
还有一个问题容易被略过
还有一个问题容易被略过:为什么要在图像空间拟合,而不是直接在 3D 里按残差撒点。原文的选择有它的道理:在 3D 里,一个点「该有多大、该朝哪转」需要先知道它落在什么表面上,而这件事在只有深度图的条件下并不清楚(第 6 章那条边界正是从这里来的);在图像空间里,拟合目标是二维的残差图,形状与朝向有明确的像素级依据,练完之后再靠反投影带回 3D。代价是把一部分不确定性推迟到了反投影那一步(附录 E, p17 的第一条局限)。
插入节奏与剔除规则是这一章的工程细节插入节奏与剔除规则是这一章的工程细节,也是阶段 7 章要讲的成本的一部分。原文在两处提到节奏,两处的说法不一致:一处写「定期按固定间隔引入 20% 的新基元」(§3.2, p4),另一处写「新增与原有的比例固定为 10%」(§4.1, p6),而表 9-1 的消融结论是补充高斯占 10% 时画质最优(§4.2, p8)。三处并列在这里,本站不合并、也不替作者取一个数(本条列入第 12 章边界)。剔除那一侧是清楚的:不透明度低于 0.005、或覆盖不足 25 像素的 2D 高斯会被剪掉(附录 A, p14)。
还有一条实现细节,不写会影响对第 6 章的理解:深度取自光栅化过程中透射率首次降到 0.5 以下的那个点(We compute depth values at points where transmittance first drops below 0.5 during rasterization.,§3.2, p4)。也就是说,每个 2D 高斯拿到的是「第一个把光线挡掉一半的位置」,而非「最近的那个面」,这在多核叠加的场里才说得通。
采样概率那条式子(式 5-2)里有个容易被略过的细节:损失是取了平方(更准确地说是以损失的多项式作为权重,原文写 p(u,v) ∝ [(1−λ_SSIM)L1 + λ_SSIM·L_SSIM]²)。取平方的效果是把残差放大:残差小的地方权重被压得更小、残差大的地方被抬得更高,于是新增核会更集中地落到「错得最明显」的那几片区域,而不是均匀地铺开。这与「误差驱动」这个名字是相配的:它分配权重靠的是误差的强非线性函数,而非误差比例本身。
剔除规则那一侧也值得补一句后果:不透明度低于 0.005 或覆盖不足 25 像素的 2D 高斯会被剪掉(附录 A, p14)。前一条清的是「算出来几乎看不见」的核,后一条清的是「太小、反投影回去也定不出稳定朝向」的核,与第 6 章那个「簇最小规模 3 个元素」的约束是同一类考虑:图像空间里过小的东西,搬到 3D 里没有意义。
本章不留图。要点收成一句:新增核的位置由残差决定,位置先在图像空间里定、再靠深度搬回 3D。
6逆高斯 splatting:从 2D 反投影回 3D
图像空间里练好的 2D 高斯要变回 3D 的核,缺的是它在 3D 里的旋转与尺度。这一步原文叫逆高斯泼溅(inverse Gaussian splatting),由三条式子接起来(§3.3, p5)。
先用式 6-1 写出「一个 3D 核投影到 NDC 空间后的 2D 协方差」:J 是投影变换在局部做仿射近似的 Jacobian、W 是世界到视图的变换、R 是旋转、S = k·diag(σ₁,σ₂,σ₃) 是三个轴向上的尺度(k 是统一缩放系数)。
接着用式 6-2 把「投影出来的协方差」与「图像空间里想要的那个 2D 协方差」对齐,度量用 Frobenius 范数:
这个最小化有闭式解:最优的统一缩放系数 k 可以直接算出来(式 6-3,其中 Q := Σ2D/k²)。
三条式子合起来回答的是「这个 2D 高斯在 3D 里该多大、朝哪转」;而它的位置靠上一章的深度给。附录 C 把整段写成伪代码(Listing 1),并交代三处工程细节:先把前景与背景分开、用按深度加权的 PCA(WPCA)定旋转与尺度、再做尺度标定(附录 C, p16)。另有一条约束写在伪代码的循环条件里:簇的最小规模不得少于 3 个元素(while groups.min_size() < 3,附录 C, p16)—— 少于三个点的簇不足以定出一个稳定的 3D 朝向,就直接不要。聚类阈值取该深度下相邻像素世界距离 δd 的 5 倍,失败时乘以 1.5 再试一次(附录 A, p14)。
把三式串起来读,可以看出为什么要专门解出 k 的闭式形式。式 6-1 给出的是「3D 核投到 NDC 后的协方差」,而图像空间那边已经有一个想要的 2D 协方差(第一步拟合出来的);两者要能对上,可调的只有旋转与尺度。其中尺度里还藏着一个统一的缩放 k:若把 R、S 的六个分量一起当自由变量去优化,问题会退化成非凸的拟合;原文的办法是把「统一缩放」单独拎出来(式 6-3 的闭式解),剩下的旋转与各轴比例交给 WPCA 按深度加权定出来(附录 C, p16)。这样三步各有分工:深度给位置、WPCA 给朝向与相对尺度、闭式解给整体大小。
「簇至少三个元素」这条约束的几何理由也写在这里:确定一个 3D 高斯的朝向需要至少三个不共线的样本点,两个点只能定一条轴、一个点连轴都定不出来。所以伪代码里那行 while groups.min_size() < 3 那不只是工程保险:它是数学上的必要条件(附录 C, p16)。
三式之外还有一处顺序上的讲究:先做前景/背景分离,是因为同一张图里前景物体与背景的深度层次不同,若不先分开,反投影时会把两类点混到同一次 PCA 里,定出来的朝向会被拉伸成一个折中的方向。分开之后各自做 WPCA,前景的朝向才由前景自己的点决定(附录 C, p16)。
这一章有一条必须写清的边界这一章有一条必须写清的边界,它也是附录 E 的第一条局限:反投影的深度来自训练相机的深度图,而本篇没有引入几何约束、也没有用深度网络去精修它,结果是投影出来的核并不贴合物体表面(this work does not incorporate geometric constraints or deep neural networks to generate refined depth maps, resulting in projected Gaussian kernels that do not accurately conform to object surfaces.,附录 E, p17)。这一章的精度上限由外部深度图的质量决定,本篇只是把它用好,没有把它做好。
7联合优化与实现细节
插入之后进入第三段:联合精修。这一段的策略是尽量少动原来的东西:原高斯的多数参数被冻结,只放开一部分(原文用 SparseAdam 优化可见原高斯基元的不透明度),新增核连同它的五个新参数(lobe 朝向 d、宽度 T、锐度 β,以及原有的颜色与尺度等属性)一起进入优化(附录 A, p14)。
还有一处口径值得写进正文:T 的初值取 7·θ̄ᵢ/π 并截断在 0.01–1.0(附录 A, p14)。这条初值的意义是给每个新核一个与场景尺度相关的初始张角(分母为 π,因此初值天然落在一个「不超过半圆」的范围内),再限制上下界防止出现极端值;lobe 初值按平均夹角归一化得出,之后再交给优化精修。
这一段的策略还有一层动机值得写
这一段的策略还有一层动机值得写:为什么是「冻结多数、只放开一部分」,而不是干脆全部重训。全部重训会带来两个代价:一是会把原来场景里已经学好的结构改掉(后增强的定位不允许这件事),二是训练量会回到「从头训一个场景」的量级,丢掉即插即用的意义。只放开可见原核的不透明度,介于两者之间 —— 既能让新核透出来,又不动已有的几何与外观。
学习率原文逐项给了学习率原文逐项给了,这里挑几个有信息量的记下来(附录 A, p14):位置 0.000016、漫反射色 0.001、高阶球谐 0.001/20、不透明度 0.02、lobe 朝向 d 0.001、lobe 宽度 T 0.0002、锐度 β 0.002。把最后两个数字与第 4 章那句「T/β 只能靠优化精修」放在一起看就明白了:这两个参数动得极慢,因为它们一旦乱动,镜面 lobe 的形状就会在训练中反复变化。图像空间那一侧也有一套学习率:坐标 0.001 × 图像尺寸均值、颜色 0.01、不透明度 0.02、尺度 0.001、旋转 0.02(附录 A, p14)。T 的初值取 7·θ̄ᵢ/π(θ 带上横线、下标 i,分母为 π),并限制在 0.01–1.0 区间内(附录 A, p14)。
成本与硬件也在这一节:实测平台是 Intel i9-13900K + NVIDIA RTX 4090,Mip-NeRF 360 上每场景的 2D 高斯训练与投影平均约 15 分钟(附录 A, p14)。分项耗时见下表。
表 7-1 后增强阶段的分项耗时 (原文 Table 6, p.14 · 数值取原文文字层,逐格未改)
| Dataset | Mip-NeRF 360 | NeRF Synthetic |
|---|---|---|
| 2D Training and Projection | 742 s | 178 s |
| Joint Optimization | 168 s | 32 s |
这张表的读法是两段分开看:前一段(2D 训练与投影)在 Mip-NeRF 360 上要 742 秒,后一段(联合精化)只要 168 秒:这条后增强流程的时间主要花在图像空间那一步,而非 3D 联合优化。NeRF Synthetic 上是 178 秒与 32 秒,比例同样如此。这条读数与附录 E 的局限呼应:两阶段策略拉长了重建时间,而如果要压缩,该压的是前一段(原文建议的方向正是把新增高斯的初始化并进原场景训练,附录 E, p17)。
学习率那一串数字里还有两处对比值得看。一是两套学习率的量级差:图像空间那一侧的颜色用 0.01、不透明度用 0.02(相对宽松,因为那里只需拟合一张图的残差);到了 3D 联合优化,位置降到 0.000016、lobe 宽度降到 0.0002(相对保守,因为此时动的是要长期留在场景里的结构)。二是同一侧内部的分工:lobe 朝向 d 是 0.001,而宽度 T 是 0.0002、锐度 β 是 0.002 —— 朝向可以比宽度快五倍。这个安排讲得通:朝向错了,把 lobe 转过去就能救;宽度与锐度错了,整个 lobe 的形状要重排,动快容易在训练中反复震荡。
硬件与耗时那两句也顺带解释一下这笔账的性质:i9-13900K + RTX 4090 上的每场景约 15 分钟(附录 A, p14)对应的是后处理这一段的成本,而不是从头训练一个场景的成本;表 10-1 里 Total(Post-proc.) 那一格括号内外两个数(如 27.9(15.0) min)说的正是「原重建+后处理」与「纯后处理」的关系。原文还给了一条能压缩这段成本的线索:2D 阶段是对每张图独立处理的,因此可以多卡并行加速(表 7-1 表注)。
本章还有一处与后面账目相关的口径要交代:因为这是后增强,所以时间与内存都是增量意义上的:表 10-1 里 Ours (3DGS, sh=3) 的 27.9(15.0) min 读作「总时长 27.9 分钟、其中纯后处理 15.0 分钟」,括号里那一项与表 7-1 的 15 分钟量级一致(原文把两个数写在同一格里,照录不拆)。
8主结果:四个数据集上的账
本篇适用于多数 3DGS 类算法,实验落在两个框架(3DGS 与 3DGS-MCMC)与四个数据集(Mip-NeRF 360、Tanks & Temples、Deep Blending、NeRF Synthetic)上。原文把核心读法收成两句:无论用二阶还是三阶球谐,都稳定优于当前 SOTA 的 NeRF 方法,且实时渲染速度几乎没有损失(§1, p1);以及二阶球谐比三阶少 21 个参数/基元,画质仍然相当(§4.1–§4.2, p7)。
表 8-1 主结果:四个数据集上的十行方法 (原文 Table 1, p.7 · 数值取原文文字层,逐格未改)
| Method | Mip-NeRF 360<br>PSNR↑ | SSIM↑ | LPIPS↓ | Tanks&Temples<br>PSNR↑ | SSIM↑ | LPIPS↓ | Deep Blending<br>PSNR↑ | SSIM↑ | LPIPS↓ | NeRF Synthetic<br>PSNR↑ | SSIM↑ | LPIPS↓ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Mip-NeRF 360 | 27.69 | 0.792 | 0.237 | 22.22 | 0.758 | 0.257 | 29.40 | 0.900 | 0.245 | 33.25 | 0.962 | 0.039 |
| Zip-NeRF | 28.54 | 0.828 | 0.189 | - | - | - | - | - | - | 33.10 | 0.971 | 0.031 |
| 3DGS | 27.21 | 0.815 | 0.214 | 23.14 | 0.841 | 0.183 | 29.41 | 0.903 | 0.243 | 33.31 | 0.969 | 0.037 |
| VoD-3DGS[L] | 27.79 | 0.818 | 0.213 | 23.91 | 0.860 | 0.160 | 29.84 | 0.908 | 0.240 | 33.69 | 0.971 | 0.030 |
| Spec-Gaussian | 28.18 | 0.835 | 0.176 | 23.77 | 0.855 | 0.166 | 29.53 | 0.905 | 0.241 | 34.19 | 0.971 | 0.028 |
| 3DGS-MCMC | 28.29 | 0.840 | 0.210 | 24.29 | 0.860 | 0.190 | 29.67 | 0.895 | 0.320 | 33.80 | 0.970 | 0.040 |
| DBS (30k) | 28.60 | 0.844 | 0.182 | 24.79 | 0.868 | 0.148 | 30.10 | 0.910 | 0.240 | 34.64 | 0.973 | 0.028 |
| Ours (3DGS,sh=3) | 28.39 | 0.834 | 0.184 | 23.90 | 0.856 | 0.158 | 29.90 | 0.903 | 0.237 | 34.02 | 0.969 | 0.031 |
| Ours (MCMC,sh=2) | 28.89 | 0.848 | 0.171 | 25.04 | 0.871 | 0.146 | 30.33 | 0.909 | 0.235 | 34.03 | 0.970 | 0.030 |
| Ours (MCMC,sh=3) | 28.96 | 0.849 | 0.170 | 25.06 | 0.872 | 0.144 | 30.22 | 0.909 | 0.236 | 34.35 | 0.971 | 0.029 |
四个数据集各自的脾气不同,这决定了读表时该看哪一列。Mip-NeRF 360 是室内外混合的大场景集,光照变化与材质差异最大,也是本篇增益最集中的地方;Tanks & Temples 以室外建筑与雕像为主,材质偏高光但光照相对单调;Deep Blending 只有两个场景,室内静物、视角覆盖稀疏,是三个真实数据集里最小的一组;NeRF Synthetic 是合成数据,材质与光照都被人为简化过;原文在表 8-1 里唯一让出一格正是在这一组(第 12 章边界 4)。
这张表的读法有三层。这张表的读法有三层。第一层看 Ours 四个变体的排序:Ours (MCMC, sh=3) 在 Mip-NeRF 360 上最好(28.96/0.849/0.170),Ours (MCMC, sh=2) 紧随(28.89/0.848/0.171),Ours (3DGS, sh=3) 落在 28.39/0.834/0.184,框架的选择比球谐阶数的选择更重要(MCMC 对 3DGS 的差是 0.57 dB,而 sh=2 对 sh=3 的差只有 0.07 dB)。第二层看与两类基线的距离:对隐式 SOTA Zip-NeRF(28.54/0.828/0.189)与显式 SOTA DBS (30k)(28.60/0.844/0.182),本篇最好变体分别高 +0.42 dB 与 +0.36 dB(本站按表 8-1 复算,原文未给差值);SSIM 上高 +0.021(0.849 对 0.828);LPIPS 低 −0.019(0.170 对 0.189)。第三层看四个数据集上的方向是否一致:Ours (MCMC, sh=3) 在 Tanks & Temples 25.06、Deep Blending 30.22、NeRF Synthetic 34.35,四个数据集上都是本篇最高,而 DBS 在 NeRF Synthetic 上是 34.64(该数据集上 DBS 更高,原文对此有专门说明,见第 12 章边界 4)。
把这张表与表 9-3 并排看,可以得到一条实用的结论:要提升画质,先动 lobe,再考虑框架(3DGS → MCMC),最后才轮到球谐阶数:因为前两者的收益分别是 0.63 dB 与 0.57 dB 量级,而加阶数只有 0.08 dB。
表里有两处口径要在正文里交代,否则数字会被误读。
表里有两处口径要在正文里交代,否则数字会被误读。一是横杠:Zip-NeRF 在 Tanks & Temples 与 Deep Blending 三列全是 -,那是该方法没有报这两组数,不是零分。二是变体命名:VoD-3DGS[L] 用的是更高内存消耗的那个变体、Spec-Gaussian 用 anchor-free 版,都是按作者推荐选的(表 8-1 表注),NeRF Synthetic 上还把基元总数固定为 300,000(§4.2, p7);这两条决定了该表不是「各自最优配置」的对撞。
Ours 的变体。②读法(怎么读):这张图是镜面表达能力的直观检验 —— 横向同一列是同一场景下不同方法的结果,读的时候先在高光处找差别(有没有出现方向明确的高光、边缘是否利落),再看细结构有没有被抹平;表 8-1 给出的是数,这张图给出的是「数在画面上的样子」。要注意的是:画面类图不可文本核对,正文只引原文写出的结论,不替它读图上没有的数。
来源:Augmented Radiance Field: A General Framework for Enhanced Gaussian Splatting(ICLR 2026 · arXiv:2602.19916v1)· 图 4 · 未修改引用(arXiv 非独占分发许可,非 CC)
这一章的四张表是互相咬合的,分开读会漏掉它们之间的关系:表 9-1 回答「加多少」(比例),表 9-2 回答「加什么才算加对了」(lobe 的价值),表 9-3 回答「不加 lobe 而加球谐阶数行不行」(替代方案的代价),表 9-4 回答「与另一条解耦路线比如何」(对 DBS)。四张表合起来构成一条完整的论证:要解耦镜面,方向性必须挂在某个显式的量上;挂在球谐上买不到多少(表 9-3),挂在颜色上不稳定(附录 B 的机理),本篇挂在像素级残差驱动、且只多 5 个参数的不透明度 lobe 上,划算(表 9-2)。
9消融:比例、机理、球谐阶数
这一章用四张表把「收益从哪来」拆开。先说比例:补充高斯占总数的多少最合适?
表 9-1 插入比例的消融 (原文 Table 2, p.8 · 数值取原文文字层,逐格未改)
| Ratio / Stage | Mip-NeRF 360 PSNR↑ | SSIM↑ | Tanks&Temples PSNR↑ | SSIM↑ |
|---|---|---|---|---|
| basic | 28.31 | 0.846 | 24.48 | 0.867 |
| 5% | ||||
| augmented | 28.88 | 0.849 | 24.95 | 0.872 |
| basic | 28.33 | 0.845 | 24.53 | 0.867 |
| 10% | ||||
| augmented | 28.96 | 0.849 | 25.06 | 0.872 |
| basic | 28.30 | 0.845 | 24.52 | 0.867 |
| 15% | ||||
| augmented | 28.94 | 0.849 | 24.99 | 0.871 |
表 9-1 的结论是 10%。再说 lobe 的价值:这一张是理解全篇贡献的关键。
表 9-2 不透明度 lobe 的消融 (原文 Table 3, p.8 · 数值取原文文字层,逐格未改)
| Methods | PSNR↑ | SSIM↑ | LPIPS↓ |
|---|---|---|---|
| 3DGS-MCMC | 28.33 | 0.845 | 0.176 |
| Ours(MCMC), w/o opacity lobe | 28.45 | 0.847 | 0.171 |
| Ours(MCMC), T= 0.5 | 28.60 | 0.848 | 0.170 |
| Ours(MCMC), β= 0 | 28.93 | 0.849 | 0.170 |
| Ours(MCMC), full model | 28.96 | 0.849 | 0.170 |
这张表的三行是三个读数,基线都是 3DGS-MCMC 的 28.33 dB(表行名逐字为 3DGS-MCMC、Ours(MCMC), w/o opacity lobe、Ours(MCMC), T = 0.5):把补充高斯的不透明度 lobe 关掉,只涨到 28.45(+0.12 dB);把 lobe 的覆盖率固定在 π/2、但保留视角相关的不透明度,涨到 28.60(+0.27 dB);完整模型 28.96/0.849/0.170(+0.63 dB)。三行的落差把功劳分清了:光加核几乎没用(0.12 dB),方向性必须留在不透明度上(+0.27 只是折中),完整的 lobe 才拿到主要收益(0.63 dB)。这里还有一处写法差异要记:第二行的表行名写 Ours(MCMC), T = 0.5,而正文 §4.2 写的是「把 lobe 的覆盖率固定到 π/2」(p8);两处写法不同,照录。原文对前两行的表述是「关掉 lobe 只带来 0.12 dB 提升」与「固定到 π/2 时提升 0.27 dB」(§4.2, p8)。
表 9-1 的比例结论还有一个前提要写清:基元总数不变(表注原话 with the total primitive No. unchanged)。10% 这一档不是在「多加核」,而是在总数固定的前提下把一部分普通核换成增强核:换成 20% 时,被换掉的普通核太多,基础外观反而受损。这条口径决定了这张表不能与「加核」类的方法直接对比。
表 9-3 球谐阶数的消融
表 9-3 球谐阶数的消融 (原文 Table 4, p.9 · 数值取原文文字层,逐格未改)
| SH order | PSNR↑ | SSIM↑ | LPIPS↓ | Mem (MB)↓ |
|---|---|---|---|---|
| 3 | 27.47 | 0.814 | 0.217 | 608 |
| 4 | 27.55 | 0.813 | 0.217 | 887 |
表 9-3 是「降低对高阶球谐依赖」这条主张的量化支点:阶数从 3 升到 4,PSNR 只从 27.47 抬到 27.55(+0.08)、SSIM 甚至从 0.814 降到 0.813,而内存从 608 MB 涨到 887 MB(+279 MB)。原文的结论句就是表题那句:提高球谐阶数并不带来实质的画质提升(§4.2, p9)。把这张表与第 4 章「每个补充核只多 5 个参数」并排看,本篇的取舍就很清楚了:同样是花钱买表达能力,加阶数买到的少、加 lobe 买到的多。
表 9-4 与 Spherical Beta 的对比 (原文 Table 5, p.9 · 数值取原文文字层,逐格未改)
| Methods | Glossy<br>PSNR↑ | Glossy<br>SSIM↑ | Mirror-like<br>PSNR↑ | Mirror-like<br>SSIM↑ |
|---|---|---|---|---|
| DBS (sb=2) | 41.70 | 0.993 | 29.48 | 0.941 |
| Ours (MCMC, sh=3) | 42.33 | 0.993 | 29.73 | 0.941 |
表 9-4 只比两类极端表面:glossy 上本篇 42.33/0.993 对 DBS 的 41.70/0.993,mirror-like 上 29.73/0.941 对 29.48/0.941。本站实读:这是 15 张表里唯一带加粗格的表(6 格),而且两处 SSIM 是打平的(glossy 0.993 与 mirror-like 0.941 上两边同值),原文两格都加粗:这一列的加粗按的是「并列最优」,不是「唯一最优」;其余 14 张表整表 0 处加粗(原文未标最优值,本站不代标)。机理那一侧的证据在附录 B。
α = 0.5」与「下排三个核用三个不同朝向的不透明度 lobe」。②读法(怎么读):这张图要看的是多核叠加时两种做法的稳定性差别 —— DBS 那套为了补偿上层核的遮挡,需要让下层核的颜色幅值指数级增大(图内上排左),而核的深度次序会动态变化,于是这份补偿不稳;本篇把方向性放进不透明度,每个核的贡献可以单独解耦。还有一层用处:它对应式 4-1 的设计动机与附录 B 的分析,不是一组效果图。图内标签之外不读值。
来源:Augmented Radiance Field: A General Framework for Enhanced Gaussian Splatting(ICLR 2026 · arXiv:2602.19916v1)· 图 5 · 未修改引用(arXiv 非独占分发许可,非 CC)
图 9-1 与图 9-2 摆的是同一件事的两面:前者是机理示意(两种核在叠加时的稳定性差别),后者是合成数据上的实际结果(环境贴图渲染,镜面有已知答案)。读的时候先在图 9-1 上看清「为什么换到不透明度上更稳」,再到图 9-2 上确认这个稳定性换来了什么。
10逐场景与开销:账落在九张表上
主结果拆细之后,这一章看四个问题:贵不贵、每个场景各是多少、增强到底提了多少、占多少内存。本篇 15 张表里有 9 张在这一章,因此按四组分开读,逐组配解说。
先看开销。原文的判词是本篇更省内存、FPS 高得多(附录 D, p16)。
表 10-1 时间、内存与帧率 (原文 Table 7, p.17 · 数值取原文文字层,逐格未改)
| Method | Mip-NeRF 360<br>Total(time) | Memory | FPS | NeRF Synthetic<br>Total(time) | Memory | FPS |
|---|---|---|---|---|---|---|
| Spec-Gaussian | 44.8 min | 882 MB | 43 | 12.0 min | 75 MB | 136 |
| Ours (3DGS,sh=3) | 27.9(15.0) min | 691 MB | 110 | 6.0(3.4) min | 68 MB | 446 |
| Ours (MCMC,sh=2) | 31.9(14.9)min | 467 MB | 96 | 7.0(3.2)min | 44 MB | 434 |
| Ours (MCMC,sh=3) | 25.3(15.2)min | 722 MB | 90 | 7.9(3.5) min | 68 MB | 414 |
读法是同一框架内比、再跨框架比:Ours (3DGS, sh=3) 是 27.9(纯后处理 15.0)分钟、691 MB、110 FPS;Ours (MCMC, sh=2) 是 31.9(14.9)分钟、467 MB、96 FPS:后者的内存几乎只有前者的一半(467 对 691),代价是帧率低一些(96 对 110)。对外的对照组是 Spec-Gaussian:44.8 分钟、882 MB、43 FPS,三项都更重。注意 Total(Post-proc.) 那一列把总时长与纯后处理时长写在同一格(如 27.9(15.0) min),本站照录不拆:括号里的数正是第 7 章表 7-1 那一档的量级。
开销这一笔还有一个读法上的提醒:Ours (MCMC, sh=2) 是本篇里更「经济」的那一档:它比 Ours (3DGS, sh=3) 省 224 MB 内存、也少 21 个参数/基元,代价是帧率从 110 降到 96。表 10-1 把这两档并排给出,读者可以按「要内存还是要帧率」自行取舍;原文没有替读者选,只说了整组对比下本篇更省内存、FPS 高得多(附录 D, p16)。
再看逐场景画质。三张表分别对应三组数据集。再看逐场景画质。三张表分别对应三组数据集。
表 10-2 Mip-NeRF 360 逐场景画质 (原文 Table 8, p.17 · 数值取原文文字层,逐格未改)
| Method | Metric | bicycle | flowers | garden | stump | treehill | room | counter | kitchen | bonsai | mean |
|---|---|---|---|---|---|---|---|---|---|---|---|
| PSNR↑ | 25.80 | 22.40 | 28.20 | 27.55 | 23.89 | 32.65 | 29.38 | 32.50 | 34.46 | 28.54 | |
| Zip-NeRF | SSIM↑ | 0.769 | 0.642 | 0.860 | 0.800 | 0.681 | 0.925 | 0.902 | 0.928 | 0.949 | 0.828 |
| LPIPS↓ | 0.208 | 0.273 | 0.118 | 0.193 | 0.242 | 0.196 | 0.185 | 0.116 | 0.173 | 0.189 | |
| PSNR↑ | 26.15 | 22.12 | 28.16 | 27.80 | 23.31 | 32.48 | 29.51 | 32.27 | 32.88 | 28.29 | |
| 3DGS-MCMC | SSIM↑ | 0.81 | 0.64 | 0.89 | 0.82 | 0.66 | 0.94 | 0.92 | 0.94 | 0.95 | 0.84 |
| LPIPS↓ | 0.18 | 0.31 | 0.10 | 0.19 | 0.29 | 0.25 | 0.22 | 0.14 | 0.22 | 0.21 | |
| PSNR↑ | 26.04 | 22.44 | 28.15 | 27.56 | 23.49 | 32.83 | 30.36 | 32.61 | 33.90 | 28.60 | |
| DBS(30k) | SSIM↑ | 0.804 | 0.650 | 0.882 | 0.815 | 0.676 | 0.941 | 0.930 | 0.939 | 0.957 | 0.844 |
| LPIPS↓ | 0.169 | 0.308 | 0.096 | 0.184 | 0.293 | 0.168 | 0.154 | 0.110 | 0.156 | 0.182 | |
| PSNR↑ | 25.85 | 21.81 | 28.21 | 27.30 | 23.00 | 32.39 | 30.48 | 32.24 | 34.26 | 28.39 | |
| Ours3DGSsh=3 | SSIM↑ | 0.793 | 0.633 | 0.881 | 0.796 | 0.660 | 0.931 | 0.924 | 0.936 | 0.954 | 0.834 |
| LPIPS↓ | 0.174 | 0.294 | 0.093 | 0.186 | 0.289 | 0.183 | 0.166 | 0.110 | 0.165 | 0.184 | |
| PSNR↑ | 26.31 | 22.34 | 28.35 | 27.97 | 23.49 | 33.32 | 30.64 | 33.01 | 34.60 | 28.89 | |
| OursMCMCsh=2 | SSIM↑ | 0.815 | 0.658 | 0.887 | 0.827 | 0.680 | 0.942 | 0.928 | 0.940 | 0.957 | 0.848 |
| LPIPS↓ | 0.158 | 0.273 | 0.088 | 0.159 | 0.262 | 0.169 | 0.160 | 0.108 | 0.161 | 0.171 | |
| PSNR↑ | 26.32 | 22.44 | 28.36 | 27.90 | 23.46 | 33.45 | 30.82 | 33.15 | 34.78 | 28.96 | |
| OursMCMCsh=3 | SSIM↑ | 0.814 | 0.663 | 0.887 | 0.825 | 0.680 | 0.942 | 0.930 | 0.941 | 0.958 | 0.849 |
| LPIPS↓ | 0.158 | 0.270 | 0.086 | 0.161 | 0.259 | 0.170 | 0.158 | 0.106 | 0.159 | 0.170 | |
| E | LIMITATIONS |
表 10-3 Tanks & Temples 与 Deep Blending 逐场景画质 (原文 Table 9, p.20 · 数值取原文文字层,逐格未改)
| Method | Metric | truck | train | mean | drjohnson | playroom | mean |
|---|---|---|---|---|---|---|---|
| PSNR↑ | - | - | - | - | - | - | |
| Zip-NeRF | SSIM↑ | - | - | - | - | - | - |
| LPIPS↓ | - | - | - | - | - | - | |
| PSNR↑ | 26.11 | 22.47 | 24.29 | 29.00 | 30.33 | 29.67 | |
| 3DGS-MCMC | SSIM↑ | 0.89 | 0.83 | 0.86 | 0.89 | 0.90 | 0.89 |
| LPIPS↓ | 0.14 | 0.24 | 0.19 | 0.33 | 0.31 | 0.32 | |
| PSNR↑ | 26.44 | 23.13 | 24.79 | 29.39 | 30.82 | 30.10 | |
| DBS(30k) | SSIM↑ | 0.897 | 0.839 | 0.868 | 0.908 | 0.912 | 0.910 |
| LPIPS↓ | 0.110 | 0.185 | 0.147 | 0.240 | 0.240 | 0.240 | |
| PSNR↑ | 25.71 | 22.09 | 23.90 | 29.31 | 30.50 | 29.90 | |
| Ours3DGSsh=3 | SSIM↑ | 0.886 | 0.826 | 0.856 | 0.902 | 0.905 | 0.903 |
| LPIPS↓ | 0.131 | 0.185 | 0.158 | 0.236 | 0.237 | 0.237 | |
| PSNR↑ | 26.78 | 23.30 | 25.04 | 29.90 | 30.77 | 30.33 | |
| OursMCMCsh=2 | SSIM↑ | 0.899 | 0.842 | 0.871 | 0.904 | 0.914 | 0.909 |
| LPIPS↓ | 0.110 | 0.182 | 0.146 | 0.234 | 0.236 | 0.235 | |
| PSNR↑ | 26.86 | 23.27 | 25.06 | 29.85 | 30.58 | 30.22 | |
| OursMCMCsh=3 | SSIM↑ | 0.900 | 0.844 | 0.872 | 0.904 | 0.913 | 0.909 |
| LPIPS↓ | 0.106 | 0.181 | 0.144 | 0.235 | 0.237 | 0.236 |
表 10-4 NeRF Synthetic 逐场景画质 (原文 Table 10, p.20 · 数值取原文文字层,逐格未改)
| Method | Metric | chair | drums | ficus | hotdog | lego | materials | mic | ship | mean |
|---|---|---|---|---|---|---|---|---|---|---|
| PSNR↑ | 34.84 | 25.84 | 33.90 | 37.14 | 34.84 | 31.66 | 35.15 | 31.38 | 33.10 | |
| Zip-NeRF | SSIM↑ | 0.983 | 0.944 | 0.985 | 0.984 | 0.980 | 0.969 | 0.991 | 0.929 | 0.971 |
| LPIPS↓ | 0.017 | 0.050 | 0.015 | 0.020 | 0.019 | 0.032 | 0.007 | 0.091 | 0.031 | |
| PSNR↑ | 36.51 | 26.29 | 35.07 | 37.82 | 36.01 | 30.59 | 37.29 | 30.82 | 33.80 | |
| 3DGS-MCMC | SSIM↑ | 0.99 | 0.95 | 0.99 | 0.99 | 0.98 | 0.96 | 0.99 | 0.91 | 0.97 |
| LPIPS↓ | 0.02 | 0.04 | 0.01 | 0.02 | 0.02 | 0.04 | 0.01 | 0.12 | 0.04 | |
| PSNR↑ | 36.74 | 26.78 | 36.75 | 38.85 | 37.12 | 31.12 | 37.66 | 32.13 | 34.64 | |
| DBS(30k) | SSIM↑ | 0.990 | 0.958 | 0.990 | 0.988 | 0.985 | 0.966 | 0.994 | 0.910 | 0.973 |
| LPIPS↓ | 0.010 | 0.033 | 0.010 | 0.015 | 0.014 | 0.032 | 0.005 | 0.103 | 0.028 | |
| PSNR↑ | 35.73 | 26.59 | 35.71 | 38.21 | 36.39 | 30.74 | 37.13 | 31.63 | 34.02 | |
| Ours3DGSsh=3 | SSIM↑ | 0.988 | 0.955 | 0.987 | 0.985 | 0.982 | 0.961 | 0.993 | 0.896 | 0.969 |
| LPIPS↓ | 0.011 | 0.036 | 0.012 | 0.020 | 0.016 | 0.036 | 0.006 | 0.113 | 0.031 | |
| PSNR↑ | 36.05 | 26.39 | 35.47 | 38.34 | 36.44 | 30.69 | 37.27 | 31.59 | 34.03 | |
| OursMCMCsh=2 | SSIM↑ | 0.989 | 0.955 | 0.987 | 0.987 | 0.985 | 0.963 | 0.993 | 0.904 | 0.970 |
| LPIPS↓ | 0.011 | 0.038 | 0.012 | 0.016 | 0.016 | 0.035 | 0.006 | 0.106 | 0.030 | |
| PSNR↑ | 36.35 | 26.57 | 35.87 | 38.72 | 36.67 | 31.11 | 37.79 | 31.68 | 34.35 | |
| OursMCMCsh=3 | SSIM↑ | 0.989 | 0.956 | 0.988 | 0.988 | 0.985 | 0.965 | 0.994 | 0.902 | 0.971 |
| LPIPS↓ | 0.011 | 0.036 | 0.011 | 0.016 | 0.015 | 0.033 | 0.006 | 0.106 | 0.029 |
这三张表的结构是「方法 × 指标 × 场景」:场景名写在首行,其后每个方法占三行(PSNR↑/SSIM↑/LPIPS↓),方法名只写在该方法三行的第一行。读法是先按场景列找最差的那一列(那里是增益的来处),再看该列上本篇与基线的距离;表 10-2 的 mean 列与第 8 章表 8-1 的 Mip-NeRF 360 那一组是同一口径的两种呈现。
然后看增强到底提了多少。这一组是本篇最实在的账,因为它直接给出「增强后 − 增强前」。
表 10-5 Mip-NeRF 360 上的增强增量 (原文 Table 11, p.20 · 数值取原文文字层,逐格未改)
| Method | Metric | bicycle | flowers | garden | stump | treehill | room | counter | kitchen | bonsai | mean |
|---|---|---|---|---|---|---|---|---|---|---|---|
| ∆PSNR↑ | 0.110 | -0.067 | 0.307 | 0.089 | 0.168 | 0.720 | 1.230 | 0.806 | 1.765 | 0.570 | |
| Ours (3DGS, sh=3) | ∆SSIM↑(10−3) | 3.26 | 5.17 | 2.84 | 4.77 | 3.19 | 2.77 | 5.49 | 2.11 | 5.25 | 3.87 |
| ∆LPIPS↓(10−3) | -5.09 | -28.6 | -3.00 | -9.09 | -14.9 | -5.04 | -8.08 | -3.16 | -7.23 | -9.35 | |
| ∆PSNR↑ | 0.227 | 0.007 | 0.397 | 0.212 | 0.085 | 0.967 | 1.622 | 0.976 | 2.225 | 0.746 | |
| Ours (MCMC, sh=2) | ∆SSIM↑(10−3) | 4.44 | 3.39 | 4.83 | 3.25 | 2.96 | 4.52 | 8.66 | 3.14 | 6.39 | 4.62 |
| ∆LPIPS↓(10−3) | -5.58 | -12.5 | -5.24 | -4.62 | -7.04 | -6.97 | -11.7 | -4.94 | -7.93 | -7.38 | |
| ∆PSNR↑ | 0.174 | 0.003 | 0.239 | 0.093 | 0.079 | 0.978 | 1.376 | 0.798 | 1.975 | 0.635 | |
| Ours (MCMC, sh=3) | ∆SSIM↑(10−3) | 3.24 | 2.75 | 3.48 | 2.24 | 1.60 | 3.88 | 6.60 | 2.59 | 5.11 | 3.50 |
| ∆LPIPS↓(10−3) | -6.26 | -12.3 | -4.57 | -4.11 | -6.91 | -6.35 | -9.66 | -4.33 | -6.83 | -6.81 |
表 10-6 NeRF Synthetic 上的增强增量 (原文 Table 12, p.21 · 数值取原文文字层,逐格未改)
| Method | Metric | chair | drums | ficus | hotdog | lego | materials | mic | ship | Mean |
|---|---|---|---|---|---|---|---|---|---|---|
| ∆PSNR↑ | 0.130 | 0.239 | 0.132 | 0.080 | 0.160 | 0.137 | 0.146 | 0.113 | 0.142 | |
| Ours (3DGS, sh=3) | ∆SSIM↑(10−4) | 1.82 | 4.45 | 1.97 | 2.37 | 3.57 | 4.38 | 1.50 | 6.20 | 3.28 |
| ∆LPIPS↓(10−4) | -0.724 | -5.99 | -1.73 | -5.69 | -3.56 | -3.32 | -1.25 | -6.17 | -3.55 | |
| ∆PSNR↑ | 0.265 | 0.288 | 0.419 | 0.231 | 0.364 | 0.400 | 0.464 | 0.235 | 0.333 | |
| Ours (MCMC, sh=2) | ∆SSIM↑(10−4) | 3.42 | 4.74 | 6.54 | 5.85 | 6.45 | 12.5 | 4.36 | 3.86 | 5.97 |
| ∆LPIPS↓(10−4) | -4.92 | -13.0 | -5.97 | -7.44 | -6.47 | -11.5 | -3.69 | -13.9 | -8.36 | |
| ∆PSNR↑ | 0.174 | 0.251 | 0.252 | 0.150 | 0.271 | 0.185 | 0.278 | 0.114 | 0.209 | |
| Ours (MCMC, sh=3) | ∆SSIM↑(10−4) | 2.38 | 4.72 | 3.70 | 2.57 | 4.88 | 5.31 | 2.51 | 3.04 | 3.64 |
| ∆LPIPS↓(10−4) | -4.15 | -9.39 | -4.50 | -5.79 | -5.41 | -6.68 | -2.32 | -9.15 | -5.92 |
表 10-7 Tanks & Temples 与 Deep Blending 上的增强增量 (原文 Table 13, p.21 · 数值取原文文字层,逐格未改)
| Method | Metric | truck | train | Mean | drjohnson | playroom | Mean |
|---|---|---|---|---|---|---|---|
| ∆PSNR↑ | 0.348 | 0.356 | 0.352 | 0.169 | 0.059 | 0.114 | |
| Ours (3DGS, sh=3) | ∆SSIM↑(10−3) | 2.90 | 3.04 | 2.97 | 1.29 | 0.537 | 0.915 |
| ∆LPIPS↓(10−3) | -7.44 | -3.34 | -5.39 | -5.96 | -6.31 | -6.14 | |
| ∆PSNR↑ | 0.460 | 0.522 | 0.491 | 0.256 | 0.126 | 0.191 | |
| Ours (MCMC, sh=2) | ∆SSIM↑(10−3) | 4.07 | 6.18 | 5.12 | 2.17 | 1.28 | 1.72 |
| ∆LPIPS↓(10−3) | -7.40 | -7.87 | -7.63 | -6.14 | -7.87 | -7.01 | |
| ∆PSNR↑ | 0.442 | 0.618 | 0.530 | 0.231 | 0.238 | 0.235 | |
| Ours (MCMC, sh=3) | ∆SSIM↑(10−3) | 3.62 | 6.58 | 5.10 | 1.83 | 1.35 | 1.59 |
| ∆LPIPS↓(10−3) | -7.45 | -7.00 | -7.22 | -5.80 | -8.08 | -6.94 |
三张表的指标记法是 ∆PSNR↑/∆SSIM↑(10⁻³)/∆LPIPS↓(10⁻³),带正负号,照录;∆LPIPS 一行全为负值(越低越好),说明增强在感知指标上也是单调向好。原文在附录 D 给了一条很有用的判读:Mip-NeRF 360 上室外场景约 0.1 dB、室内复杂光照与材质的场景有 1–2 dB 增益(附录 D, p16);对照表 10-5 可以看出这条规律确实成立(室外一类场景的增量明显小于室内)。注意均值列的写法两表不同:表 10-5 写 mean、表 10-6 写 Mean(原文两种写法,照录)。
最后看内存与基元数。
表 10-8 逐场景的基元数与内存 (原文 Table 14, p.21 · 数值取原文文字层,逐格未改)
| Method | Metric | bicycle | flowers | garden | stump | treehill | room | counter | kitchen | bonsai | mean |
|---|---|---|---|---|---|---|---|---|---|---|---|
| Primitives (106) | 4.8 | 3.0 | 4.1 | 4.5 | 3.3 | 1.4 | 1.2 | 1.5 | 1.2 | 2.8 | |
| 3DGS | |||||||||||
| Memory (MB) | 1081 | 675 | 928 | 1017 | 732 | 316 | 263 | 328 | 275 | 624 | |
| Primitives (106) | 6.0 | 3.0 | 5.0 | 4.5 | 3.5 | 1.5 | 1.5 | 1.5 | 1.5 | 3.1 | |
| DBS | |||||||||||
| Memory (MB) | 618 | 309 | 515 | 464 | 361 | 155 | 155 | 155 | 155 | 320 | |
| Primitives (106) | 5.3 | 3.3 | 4.5 | 5.0 | 3.6 | 1.5 | 1.3 | 1.6 | 1.3 | 3.0 | |
| Ours (3DGS, sh=3) | |||||||||||
| Memory (MB) | 1198 | 748 | 1029 | 1128 | 811 | 350 | 291 | 363 | 305 | 691 |
表 10-9 逐场景的内存占用 (原文 Table 15, p.21 · 数值取原文文字层,逐格未改)
| Method | Metric | bicycle | flowers | garden | stump | treehill | room | counter | kitchen | bonsai | mean |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 3DGS-MCMC | 1328 | 743 | 1170 | 1069 | 833 | 338 | 270 | 405 | 293 | 716 | |
| Ours (MCMC, sh=2) | Memory (MB) | 865 | 484 | 763 | 697 | 543 | 220 | 176 | 264 | 191 | 467 |
| Ours (MCMC, sh=3) | 1338 | 748 | 1179 | 1077 | 839 | 340 | 272 | 408 | 295 | 722 |
这两张表同族,两组指标(Primitives (10⁶) 与 Memory (MB))共用同一个办法名(方法名写在各组首行);读法是把「基元数」与「内存」成对看:增强只给约 10% 的基元挂上新参数,原文据此说内存开销相对基线可以忽略(附录 D, p16),这两张表就是那句话的逐场景凭据。
把这一章的账收一收:逐场景那七张表提供的不是「哪个数字更好」,而是「增益出现在哪类场景」,室外约 0.1 dB、室内 1–2 dB(附录 D, p16),而表 10-5 的逐列读数正好支持这条规律。读本篇时如果只记总分(+0.36 到 +0.42 dB),会漏掉它真正擅长的地方:光照与材质复杂、镜面成分重的室内场景。
11漫反射/镜面分解:能做出来,但没法打分
因为镜面被显式放在不透明度 lobe 上,本篇可以把渲染结果拆成两部分:漫反射取增强前那张渲染与增强后渲染的逐像素最小值,镜面取两者之差(§4.3, p9):
- Id = min(I_sh0, I_aug):漫反射
- Is = I_aug − Id:镜面
这条式子很朴素,含义却不小:它把「增强到底加了什么」定义成只加不减的那部分。因为增强只会往高光方向补能量,取差值之后剩下的就是镜面分量。
这一支的存在也解释了一个常见疑问:既然镜面被显式建模出来了,为什么不做重光照?答案落在同一条边界上:重光照要的是把「入射光」与「反射属性」分开,而本篇拆出来的是「漫反射分量」与「镜面分量」,镜面分量里仍然含着环境光的信息(它是被环境照亮的结果,不是反射属性本身)。原文没有声称支持重光照,本站也不替它加这一条。
在跑分解之前,本篇还交代了它的可分解性来自哪里
在跑分解之前,本篇还交代了它的可分解性来自哪里:因为镜面分量是挂在不透明度上的,而渲染时的 alpha 混合是线性的,所以「只加不减」这件事在数值上成立,逐像素取最小值与差值才有意义。反过来,如果方向性挂在颜色上(如 beta 核那条路),拆出来的两部分就不再是简单的线性关系,分解协议要另设计,这一点也是附录 B 那条机理对比的延伸(附录 B, p14)。
两张分解图的读法差别在「比什么」:图 11-1 只看本篇自己拆得对不对(镜面图该只剩高光),图 11-2 把两套做法的镜面分量并排,看的是同一个高光在两边的位置与形状是否对得上。
分解协议本身还要交代它的前置条件:这条式子能用,前提是「增强只会往高光方向补能量」:因为取的是逐像素最小值与差值,若增强在某处降低了颜色,那一处就会被算进镜面分量里。训练图像过曝时会出现这种情形(饱和区的颜色被拉平),这正是第 12 章边界 6 说的分解瑕疵的来源。换句话说,这条协议对输入图像的曝光很敏感(§4.3, p9)。
这一支有两条边界必须写清。这一支有两条边界必须写清。第一条是「不能打分」:原文明确数据集没有镜面真值,因此无法报定量指标(Because the dataset lacks ground-truth specular data, quantitative metrics cannot be reported.,附录 D, p16):这一章的两张图只能读形态,不能读排名。第二条是「过曝不可逆」:训练图像的动态范围低时,过曝的像素因为辐亮度已经饱和、信息不可恢复,会在分解结果上留下瑕疵(§4.3, p9)。这一章的可用范围被输入图像的曝光圈住了。
这一章把作者的自陈与本站的核对并排列出。需要说明的是:这九条里没有一条影响主结果(第 8 章的四数据集对比),它们划定的是这套方法在什么条件下好用、在什么条件下要小心。
12局限与边界
最后一章把作者的自陈与本站的核对并排列出,共 9 条。
这九条按性质可以分三类:第 1、2、3 条是方法与流程本身的代价(深度依赖、两阶段耗时、固定比例冗余),第 4、5、6 条是评测口径上的限制(合成集略逊、分解不可定量、过曝不可逆),第 7、8 条是设计里的假设(T/β 只能优化得到、图像空间优化把原渲染当背景),第 9 条是本站登记的口径不齐。前七条在原文里都有明文出处,第 8 条来自 §3.4 的描述,第 9 条是本站的核对。
补一条口径上的提醒:这九条里第 4 条(NeRF Synthetic 略逊)与第 5 条(分解不可定量)是评测层面的,读的时候不要把前者读成方法缺陷、也不要把后者读成效果不佳;而第 1、2、3 条是方法与流程的代价,它们指向的是「这套增强什么时候成本高」。
- 投影核不贴合物体表面。
反投影依赖训练相机的深度图,本篇没有引入几何约束、也没有用深度网络去精修它,因此投影出来的核并不准确贴合物体表面;高质量深度估计本可以改善这一点(附录 E, p17)。
- 两阶段策略拉长了重建时间。原文给出的缓解方向是把新增高斯的初始化并进原场景的训练过程(附录 E, p17)。本站补一组读数:后增强的大部分时间花在图像空间那一步(表 7-1:Mip-NeRF 360 上 742 s 对 168 s)。
- 固定比例在漫反射主导的场景下冗余。新增与原的固定比例虽适配多数场景,但在以漫反射材质为主的场景里会引入冗余;逐场景自适应地决定新增数量仍是开放问题(附录 E, p17)。
- NeRF Synthetic 上略逊于 DBS。本篇在两个真实数据集上超过 DBS,但在合成数据集上略落后(表 8-1:34.35 对 DBS 的 34.64);原文把原因归到合成场景更简单、光照与材质的变化有限(§4.2, p7)。这是唯一一个本篇不是最优的主要指标格。
- 分解无法定量。数据集无镜面真值(附录 D, p16),第 11 章那两张图只能读形态。
- 过曝不可逆。训练图像动态范围低时,饱和像素带来分解瑕疵(§4.3, p9)。
T与β无法预先定。镜面 lobe 的形状事先不知道,只能靠多视角优化精修(§3.3, p5–p6)。- 图像空间优化时的背景假设。2D 高斯的优化把原渲染结果当作背景(假定它们排在新增高斯之后);反投影之后深度次序可能被打乱,会出现预先存在的高斯反而更“浅”的情形,本篇的做法是放宽原核的不透明度来缓解过度遮挡(§3.4, p6)。
收一句:这篇的边界主要落在两处:输入的深度图有多准(第 1 条)与两阶段的时间成本(第 2 条),其余多数是适用范围的划定而非缺陷;而它让出的那一格(NeRF Synthetic 上的 34.35 对 34.64)在原文里有明确的归因,本站照写、不加码。
- 两处原文侧的不齐(照录,不改)。①插入比例三处口径:§3.2 写「定期按固定间隔引入 20% 新基元」、§4.1 写「新增与原有比例固定 10%」、表 9-1 的消融结论是 10% 最优;三处并列,本站不合并;②表 8-1 与表 9-2 的同一配置基线不同:表 8-1 的
3DGS-MCMC是 28.29/0.840/0.210,表 9-2 把基线写成 28.33 dB ⇒ 引用时须写明取哪一张表;③p16 的Table 7.是交叉引用而非表注(真表注在 p17);取注时按「冒号式优先」排除了它。
13贡献块
这一篇的贡献可以按「换一个位置放方向性」与「把增强做成插件」两条线收。
第一条是缺口的说法。3DGS 用三阶球谐建模视角相关辐亮度,这一步内在地限制了它表达辐射场的能力:球谐是视角的函数,它能把「从这个角度看是什么颜色」记下来,却记不住这份变化里哪一部分是漫反射、哪一部分是镜面,于是复杂反射表达不出来(§1, p1)。前人的两条线各差一步:NeRF 派靠方向编码或额外的镜面分支解反射,代价是模型复杂度与查询次数上去;高斯派把镜面搬进高斯,但原文的判词是它们在渲染方程里仍不能解耦漫反射与镜面(§2, p2);Spherical Beta(DBS)确实做出了解耦,可原文认为它表达不了很复杂的反射(§2, p2)。于是要解的问题被写成一句话:能不能不往球谐阶数上加,而把方向性挪到别处去承载。
第二条是解法,分三步接。表达上给每个高斯核加一个视角相关的不透明度(改编自经典 Phong shading),把镜面放在不透明度 lobe 上(式 4-1),每个补充核只多 5 个可学参数(§3.1, p3)。插入上不直接在 3D 里撒点,而是先在图像空间用一批 2D 高斯拟合当前渲染的残差(式 5-1/5-2,深度只用于排序),再由逆高斯泼溅反投影回世界空间(式 6-1/6-2/6-3 给出以 Frobenius 范数最小化的闭式缩放系数);工程上有三处细节:前景/背景分离、按深度加权的 PCA 定旋转尺度、以及簇最小规模不少于 3 个元素(附录 C, p16)。优化上冻结原高斯的多数参数、只联合精修新增核(原核只放开不透明度,用 SparseAdam),并给 lobe 的宽度 T 与锐度 β 配了极小的学习率(0.0002 与 0.002),因为这两个参数必须慢慢动(附录 A, p14)。整篇的定位是后增强:作为后处理步骤,它能对多数 3DGS 类框架即插即用(§5, p9)。
第三条是账,分三笔。画质:四个数据集上,Ours (MCMC, sh=3) 在 Mip-NeRF 360 上 28.96/0.849/0.170,对隐式 SOTA Zip-NeRF 高 +0.42 dB、对显式 SOTA DBS 高 +0.36 dB(表 8-1,本站复算);唯一让出的一格是 NeRF Synthetic(34.35 对 DBS 的 34.64,原文归因于合成场景更简单,§4.2, p7)。参数效率:二阶球谐比三阶少 21 个参数/基元而画质相当(§4.1, p7);加阶数不值得这一条在表 9-3 上量了出来:3→4 阶 PSNR 只 +0.08,内存却 +279 MB。开销:Ours (3DGS, sh=3) 27.9(纯后处理 15.0)分钟、691 MB、110 FPS,对 Spec-Gaussian 的 44.8 分钟、882 MB、43 FPS 三项都更轻(表 10-1)。消融把功劳也分清了:去掉 lobe 只 +0.12 dB、固定 lobe 覆盖率 +0.27 dB、完整模型 +0.63 dB(基线 28.33,表 9-2)。
本站在文里额外做了四件事,都属于精读该做的核对,没有替作者下判断。第一,把 15 张表按原文文字层逐格取出来重排(共 969 个数值格),并做多重集比对复核,跑到零差异。第二,把加粗的分布摆到台面上:15 张表里只有表 9-4 有加粗格(6 格),其中两处 SSIM 打平(glossy 0.993 与 mirror-like 0.941 上交锋双方同值)、原文两格都加粗;其余 14 张表整表 0 处加粗,本站不代标。第三,把三处口径不齐逐条登记:插入比例在 §3.2(20%)、§4.1(10%)、表 9-1 的结论(10% 最优)三处不一致;表 8-1 与表 9-2 的同一配置基线不同(28.29 对 28.33);表 9-2 第二行的行名写 T = 0.5、正文写「覆盖率固定到 π/2」。第四,把取注与取表的两个坑写进记录:p16 的 Table 7. 是交叉引用而非表注(真表注在 p17);表 10-1 的 Total(Post-proc.) 把总时长与纯后处理时长写在同一格(如 27.9(15.0) min),照录不拆。
还有一条要记在这里:这一篇的许可与同分区此前多篇不同。原文的 arXiv 摘要页标注的是 arXiv 非独占分发许可(不是 CC),作者保留版权、该许可只授权 arXiv 分发,因此本站不托管原文 PDF,图与表按分区的非 CC 件惯例处理(原图原样零加工、逐图署名、标注残留风险)。
14原文出处块
标题:Augmented Radiance Field: A General Framework for Enhanced Gaussian Splatting
作者:Yixin Yang、Bojian Wu、Yang Zhou、Hui Huang。原文首页给出项目页 https://xiaoxinyyx.github.io/augs。
发表:ICLR 2026 会议论文。预印本 arXiv:2602.19916 [cs.CV],v1 日期 2026-02-23,仅有 v1。原文 22 页,Letter 开本(612×792 pt),单栏,版心 x 108–504;正文含 6 个编号公式((1) p3、(2)(3) p4、(4)(5)(6) p5,全在 §3)、10 张图、15 张表,另有参考文献与附录 A–E(p14–p21),PDF 内不含补充材料正文。对比方法含 NeRF 系(Zip-NeRF、Mip-NeRF 360 等)与高斯系(3DGS、3DGS-MCMC、DBS/Spherical Beta、VoD-3DGS、Spec-Gaussian、GaussianShader、DeferredGS、EnvGS、Ref-GS 等);数据集为 Mip-NeRF 360、Tanks & Temples、Deep Blending、NeRF Synthetic,另有一组自建的合成 shiny 数据集(用环境贴图渲染,见 §4.2 与图 9-2)。
授权:arXiv 非独占分发许可(http://arxiv.org/licenses/nonexclusive-distrib/1.0/,依据 arXiv 摘要页实测的 License 链接)。这不是 Creative Commons 许可:作者保留版权,该许可只授权 arXiv 分发,第三方没有再分发权。原文 PDF 内也没有任何许可声明(全 22 页逐页检索 Copyright、Creative Commons、CC BY、License、licensed、permit、nonexclusive 等 11 个关键词,一处未命中)。因此本站的处理是:不托管原文 PDF,文末只给 arXiv canonical 链接;10 张图与 15 张表按原样、零加工引用(未裁切拼接、未加标注、未施滤镜;表体按文字层逐格重排不改数值),逐图署名并标注残留风险(同分区此前对 ACM 版权件的处置惯例)。未对原文作任何修改。
附材料与发布状态:原文首页给出项目页地址;可复现性声明写源码与数据集将公开,实现细节见 §4.1、超参见附录 A、逆高斯泼溅的伪代码见附录 C。原文本 PDF 内未声明许可为 CC,也未给出代码/权重的当前可访问状态,本站未核实项目页与本 PDF 之外的内容,正文一律不引用本 PDF 之外的读数。
原文全文:arXiv:2602.19916(canonical 版本)
使用说明:本页是论文精读,未做全文翻译,也不代表原作者的观点汇总。正文里的方法描述、数值与结论均标注了原文出处(页码口径 [p.N],从 0 起);10 张图按实测包围盒从原文 PDF 区域渲染后原样引用,未裁切拼接、未加标注、未施滤镜,逐图署名;15 张表按原文文字层逐格取值后以 HTML 重排,969 个数值格未改位数(含 ∆PSNR↑/∆SSIM↑(10⁻³) 一类原文记法,以及表 10-1 的 27.9(15.0) min 与 Total(Post-proc.) 合并格照录)。本页的作者主张与本站的核对发现是分开写的:凡属作者主张(例如「球谐编码内在地限制了表达辐射场的能力」「把方向性放到不透明度上比放在颜色上更稳定」「后增强可对多数 3DGS 框架即插即用」「加球谐阶数并不带来实质提升」「室外增益约 0.1 dB、室内 1–2 dB」)均标明是原文的判断;凡属本站核对(15 张表的逐格取值与多重集校验、加粗分布的统计、三处口径不齐的登记、交叉引用与合并格的识别、各处差值的复算)均标为实读发现。文中所有数据以原文为准;因 15 张表的列结构各不相同,凡跨表引用同一配置时本站会指明取的是哪一张表的值,且不做跨表比数。若原文后续版本(v2 及以后)有修订,以 arXiv 最新版为准。另:本篇的许可为 arXiv 非独占分发(非 CC),本站未托管原文 PDF,图与表均按原样引用并逐件署名。