篇目 52 · 单篇论文精读

两件固定件一起换:有界的 Beta 核、可学的高光瓣,与一条不依赖核形状的致密化证明

Deformable Beta Splatting · 3DGS 卡在两件固定件上:高斯核无界、必然平滑,上机前还得硬截断;低阶球谐参数随阶数平方涨,只能给出平滑的视角相关色。DBS 把两件一起换掉:核换成有界的 Beta 核 B(x;b) = (1−x)^{4e^b},一个标量 b 管形状(负 b 更平、b = 0 退回高斯、正 b 更尖);颜色换成 Spherical Beta,把 Phong 的漫反射与镜面分离写成可学的高光瓣,维度从 3(N+1)² 的平方增长改成 3 + 6M 的线性增长;顺手用一条数学证明把 MCMC 致密化改成与核形状无关 —— 在「不透明度被正则化得很小」的前提下,只调不透明度就能保持分布不变。账面上四套数据集几乎全赢(Mip-NeRF360 28.75、Tanks&Temples 24.85、Deep Blending 30.12、NeRF Synthetic 34.66),只用 45% 的参数,比 3DGS-MCMC 快 1.5×,显存从 733.19 MB 降到 356.04 MB

Rong Liu、Dylan Sun、Meida Chen、Yue Wang、Andrew Feng 项目页 rongliu-leo.github.io/beta-splatting arXiv:2501.18630v2 · SIGGRAPH 2025 · 15 页 · 612×792 pt(Letter)· 双栏 · 版心 x 10.9–569.1 原文编号式 (1)–(39),正文 (1)–(15) 重排 · 原文图 8 张 · 表 7 张 · 许可:arXiv 非独占分发(非 CC)
14 章一级章节(按拆解点切)
15 式原文正文编号式 (1)–(15) 重排
8 张配图(原文 8 / 自绘 0)
12 条边界与反例(独立成节)

图-段配对表 · 本稿 8 张

图角色档归属支撑的论断层次状态
图 1-1E§1teaser:重建质量与两个「拆得开」(几何/纹理、漫反射/镜面)①②原文 Fig. 1, p.0 · 原样引用(通栏 1450×515)
图 3-1E§4一条剖面怎么随 b 变:负 b 更平、正 b 更尖、b = 0 近似高斯①②原文 Fig. 2, p.3 · 原样引用(通栏 1450×534)
图 4-1E§6高光的锐度也能学:小 b 高光宽、大 b 高光锐①②原文 Fig. 3, p.4 · 原样引用(左栏 727×412)
图 5-1E§12几何分解:Beta 核把场景拆成基础结构与高频细节①②原文 Fig. 4, p.5 · 原样引用(通栏 1374×705)
图 5-2E§10隐式 SOTA(Zip-NeRF)与显式 SOTA(3DGS-MCMC)的定性对照①②原文 Fig. 5, p.5 · 原样引用(通栏 1374×940)
图 7-1E§12光照分解:Spherical Beta 把漫反射与镜面分开①②原文 Fig. 6, p.7 · 原样引用(整页竖图 1374×1801)
图 12-1E§11基元预算曲线:高斯的平台期与 Beta 核的持续增益①②原文 Fig. 7, p.12 · 原样引用(右栏 582×413)
图 14-1E§8保分布的图形证据:不透明度越低,两条分布曲线越重合①②原文 Fig. 8, p.14 · 原样引用(通栏 1266×501)
角色档:本篇 8 张全部登记为 E 类(证据图)——它们承载可核对的读数(用于对照的画面、或作为某条论断的唯一证据),按 20 号票的裁决 E 类禁止自绘,故一律引用原图。自绘 0 张,S 类配额未动用。
取图口径:8 张按实测包围盒从原文 PDF 区域渲染(本篇 8 张的图域一律为位图;3.0× 栅格化约 216 dpi),未裁切拼接、未加标注、未施滤镜,逐图署名(图号 + 原文 Fig. 号 + 页码 + 未修改声明)。8 张图的图注一律在图之下(8/8 实测)。其中图 5-1 与图 5-2 同在 p5 且上下相邻(工具曾把两件判为同一矩形,本站按显式包围盒分开取)、图 7-1 为整页竖图(1374×1801)走限高档、图 4-1 与图 12-1 为单栏图(工具原本返「未定位」)。正文一律不读值,只引原文写出的结论与图内已写出的标签。
表:7 张数据表不以截图呈现,而是按原文文字层逐格取值后以 HTML 重排,数值未改位数、未做换算 —— 含 PSNR↑/LPIPS↓ 一类原文记法,以及表 8-1 由 implicit/explicit 两个行组叠成、表 12-1 由四个数据集分组叠成的合并结构照录。宽表(表 8-1 为 14 列、表 8-3 与表 12-1 为 12–14 列)加横滚容器。原始裁图(tables/tab1..tab7.png)留作核对凭据。本篇体例:原文 7 张表的表注一律写在表体之下(7/7 实测),站内按分区统一体例把表注排在表体之上,注文逐字照录。三处版式造成的成格待核(表 8-1 的 implicit/explicit 行组归属、表 12-1 的四个竖排组名被字层切碎、表 8-2 表头粘连成 Storage Mip-NeRF Mem↓ 360)已在正文相应位置注明,格值照录不改。
许可(本篇与同分区此前多篇不同,须单独写):原文的 arXiv 摘要页标注的是 arXiv 非独占分发许可(nonexclusive-distrib/1.0),不是 Creative Commons;PDF 采用 ACM 双栏排版件,正文里没有本篇自身的卷期行(文字层里 ACM Trans. Graph. 的三次命中全在参考文献中)。该许可下作者保留版权,本站不托管原文 PDF,文末只给 arXiv canonical 链接;图与表按分区既有的非 CC 件惯例处理:原图原样零加工引用 + 逐图署名 + 残留风险标注(同 02/03、29–41、50、51 的处置)。
原文摘要 Abstract, p.0(英文原样引用)

"3D Gaussian Splatting (3DGS) has advanced radiance field reconstruction by enabling real-time rendering. However, its reliance on Gaussian kernels for geometry and low-order Spherical Harmonics (SH) for color encoding limits its ability to capture complex geometries and diverse colors. We introduce Deformable Beta Splatting (DBS), a deformable and compact approach that enhances both geometry and color representation. DBS replaces Gaussian kernels with deformable Beta Kernels, which offer bounded support and adaptive frequency control to capture fine geometric details with higher fidelity while achieving better memory efficiency. In addition, we extended the Beta Kernel to color encoding, which facilitates improved representation of diffuse and specular components, yielding superior results compared to SH-based methods. Furthermore, Unlike prior densification techniques that depend on Gaussian properties, we mathematically prove that adjusting regularized opacity alone ensures distribution-preserved Markov chain Monte Carlo (MCMC), independent of the splatting kernel type. Experimental results demonstrate that DBS achieves state-of-the-art visual quality while utilizing only 45% of the parameters and rendering 1.5x faster than 3DGS-MCMC, highlighting the superior performance of DBS for real-time radiance field rendering. Interactive demonstrations and source code are available on our project website: https://rongliu-leo.github.io/beta-splatting/."

这一篇要讲清的 18 件事
  • 缺口立在「核」和「颜色编码」两处,不在训练技巧那一层:原文的判断是 3DGS 的限制来自它的基础构件。核这一侧有两条账:①平滑:高斯核本身产生平滑模糊的结果,平面与尖边画不准;②无界:长尾无界意味着实时渲染必须硬截断,截断又引入伪影(§1, p1)。颜色那一侧另有两条:③参数随阶数平方涨(3(N+1)²)⇒ 只能用低阶 ⇒ 颜色过渡过度简化;④由此画不出锐高光,也分不开漫反射与镜面。原文把核与球谐一起判为固定函数映射(fixed-function mappings),缺少随场景复杂度自适应的能力(§1, p1)。
  • 换核的关键是「有界」二字:从 Beta 分布出发,取 α = 1 只留反射项、去掉归一化,得到 B(x;β) = (1−x)^β,x ∈ [0,1]、β ∈ (0,∞)。它的定义域本身就是闭区间,所以天然紧凑、有界,β 提供形状控制(§3.1, p3)。原文另交代了一句:不是任何函数都能当泼溅核,它用逆 Abel 变换证明了 Beta 核满足多视图一致性与有效泼溅核的条件(证明在附录 A)。
  • 重参数化是为了「不偏」:直接优化 β 会把核往低频拽(β → 0 强调低频,而高频形状要 β → ∞),所以改学 b 并令 β(b) = e^b;为了让初值像高斯,再取常数 c = 4,使 ∫₀¹ (1−x)^{4e^b} dx ≈ ∫₀¹ e^{−9x²} dx(在 b = 0 时成立)。最终形式 B(x;b) = (1−x)^{4e^b},b ∈ R(§3.1, p3)。
  • b 的三段形态与场景属性的对应(图 3-1 的图注原话):负 b 给更平的支撑与更利的截断(学实体支撑与尖几何),正 b 给更尖的峰(学高频细节),b = 0 时 Beta 核与高斯几乎一致(图注说明域按 3σ 缩放)。
  • 基元只多了一个标量:B = {μ, o, q, s, b, f},几何四项(μ 中心、o 不透明度、q 四元数旋转、s 尺度)与 3DGS 一致,新引入的只有 b ∈ R;f ∈ R^d 是外观特征向量(§3.2, p3)。原文对这一处的评价是「以最小开销换来自适应形状控制」。
  • Spherical Beta 的账要算清楚:球谐的维度是 3(N+1)²(N 为阶数),而 Spherical Beta 是 3 + 6M(M 为高光瓣数),线性 vs 平方。原文自述「相比 3 阶球谐,用仅 31% 的参数取得更好结果」(§1, p1;§3.3, p4)。默认每基元 2 个光源(sb = 2)(§4.1, p6)。
  • 有界带来的是连续性,不只是省参数:原文拿球面高斯作对照:球面高斯无界支撑、必须截断,于是在视角方向与反射方向正交时会出现辐亮度不连续;而 Beta 核的输入域被限制在 [0,1],R̂_m·V̂ = 0 时辐亮度自然落到零,因此没有截断类伪影(§3.3, p4)。
  • 致密化那一条是这篇唯一的「证明」型贡献:3DGS-MCMC 把每个基元的不透明度当概率,靠「重采样 + 调不透明度 + 调尺度」来保分布,而那套尺度调整是为高斯量身定的。DBS 的做法是先接受既有结论 o' = 1 − (1−o)^{1/N},再用泰勒展开 (1−o)^{1/N} ≈ 1 − o/N 得 o' ≈ o/N,代入致密化分布并用二项近似,最终回到原分布 o·f(x) + O(o²):误差项 O(o²) 在 o 被正则化得很小时可忽略,于是「只调不透明度」对任意 N 与任意核 f(x) 都成立(§3.4, p7;详细证明在附录 D)。
  • 噪声函数也跟着换了:3DGS-MCMC 的 logit 噪声被换成 Beta 核形式 ε = λ_lr · B(o_i; b') · Ση,并取 b' = ln(25) 以贴近原 logit 函数的衰减行为(§3.4, p6)。
  • 损失是四项:L = (1−λ_SSIM)L₁ + λ_SSIM L_SSIM + λ_o Σ_i|o_i| + λ_Σ Σ_i Σ_j|√eig_j(Σ_i)|。不透明度项 λ_o Σ|o_i| 是为了保分布致密化(也是上面那个「o 很小」前提的来源),协方差特征值项 λ_Σ 与之配合,一起鼓励基元「消失并重生」(§3.4, p7)。
  • 主结果是四套数据集几乎全赢(表 8-1;DBS-full):Mip-NeRF360 28.75 / 0.845 / 0.179、Tanks&Temples 24.85 / 0.870 / 0.140、Deep Blending 30.12 / 0.914 / 0.236、NeRF Synthetic 34.66 / 0.973 / 0.028。对照 3DGS-MCMC 分别是 28.29/24.29/29.67/33.80,对照隐式 SOTA 的 Zip-NeRF 是 28.54/—/—/33.10。
  • 效率三点(表 8-2,Mip-NeRF 360 上):训练 16 分钟(30k 模式)/22 分钟(full 模式),3DGS-MCMC 是 31 分钟、3DGS 是 21 分钟、Zip-NeRF 是 5 小时 29 分;显存 356.04 MB,而 3DGS-MCMC 是 733.19 MB、3DGS 是 797.06 MB;渲染 123.11 FPS(30k 模式),3DGS-MCMC 是 82.46、3DGS 是 116.15、Zip-NeRF 只有 0.184。
  • 消融的读法是逐档而非单调(表 8-3):从 3DGS-MCMC 换到 DBS-MCMC,T&T 从 24.29 升到 24.45、DB 从 29.67 升到 29.88;再换到 Kernel-Agnostic MCMC 升到 24.57/30.03 且显存未增;sb 四档里 sb = 1 只用 155.8 MB 但掉到 24.53/30.04,sb = 2 是甜点(200.3 MB,24.79/30.10),sb = 4/sb = 6 只把 PSNR 抬到最多 24.81/30.12 却把显存推到 289–378 MB;最后加上早停策略(DBS (full))再升到 24.85/30.12。
  • 不透明度正则的取舍有一条完整的曲线(表 13-1,Mip-NeRF 360):λo = 0 时 PSNR 27.81、平均不透明度 0.60;λo = 0.01 时 PSNR 最高 28.70、平均不透明度降到 0.10 ± 0.03;λo = 0.10 时过度抑制不透明度,PSNR 反而掉到 25.07。这条曲线同时验证了「小不透明度」这个前提。
  • 两个分解都是训练后的副产品(§4.3):几何分解靠 b:低 b 的基元承载基础结构、高 b 的承载纹理与细表面变化,按 b 设掩码或取均值阈值二分即可;光照分解靠 Spherical Beta 的基色 c₀:只取 c₀ 得漫反射,只开高光瓣得视角相关镜面。原文给的四个例子是 treehill 的树皮纹理、garden 的桌面纹理、bicycle 的黑色长椅、bonsai 的容器高光。
  • 作者的自我划界(照写):①光栅化基导致排序深度近似偶发 popping 伪影;②Spherical Beta 建不了镜面反射与各向异性高光;③视锥模型使远处背景的平坦几何被优化成 Beta 形,影响整体 b 几何分布。三条之外,另有两处口径要留意:主表基线当可得时取原论文数字(非全部自跑),且 Zip-NeRF 在 T&T 与 DB 两套数据集未报(表中为 -);Ours (30k) 与 Ours (full) 是两种报数口径(后者含 patience 10k 早停)。
  • 一处原文侧读数不齐(照录不改):表 12-2 的 bonsai 训练步数读出 84.5,缺 K 后缀,同列其余 8 格都是 31.0K/26.5K 这类形式。需人工过图确认是原文缺字还是字层丢失。
  • 三处版式造成的成格待核(不影响格值):表 8-1 的 implicit/explicit 两标签是竖向居中跨行的,字层错位后落在 Instant-NGP 与 2DGS 两行上(按 y 反推,最自洽读法是 implicit 占 3 行、explicit 占 7 行);表 12-1 的四个组名被竖排切碎成 360+Mip-NeRF 一类碎片;表 8-2 的表头粘连成 Storage Mip-NeRF Mem↓ 360。三处格值均按原字层原样保留,站内表按语义归组并在正文注明。

1两件「固定件」把 3DGS 卡住了

要看清这篇在改什么,先把 3DGS 的账翻一遍。它把场景拆成各向异性椭球、把椭球投影到屏幕按深度合成,于是实时渲染不再是问题;它把「颜色随视角怎么变」交给球谐系数,把「哪里是表面」交给椭球的形状与不透明度。这套分工让显式表示第一次跑进了实时区间(§1, p1)。

可它的天花板也写在这套分工里。原文的判断很直接:3DGS 的限制来自它的基础构件,也就是核与球谐这两件固定件(§1, p1)。

先说核这一侧的两条账。第一条是它必然平滑。 高斯核的剖面是钟形,中心到边缘的过渡是连续的,于是它画不出干净的平面与锐利的边 —— 原文的说法是这种平滑效应妨碍了对平坦表面几何与锐利边缘的刻画,结果是细节丢失、真实感下降(§1, p1)。第二条是它无界。 高斯的长尾不会自然归零,而实时渲染要为每个像素限定影响范围内的基元,于是必须给核加一个硬编码的截断。截断本身会引入伪影,又反过来损害细节的准确表达(§1, p1)。

再说球谐这一侧的两条。球谐能表达光照变化,但参数量随阶数平方增长:N 阶球谐的特征维度是 3(N+1)²。这个增速直接决定了实用阶数只能取低值(例如 N = 3),而低阶球谐只能给出平滑且过度简化的颜色过渡 —— 原文点明这妨碍了对高光的准确建模,也做不到把漫反射与镜面分开,最终表现为复杂光照交互的表达不足(§1, p1;§3.3, p4)。

四条账合起来,原文给了一句总判词:核与球谐都是固定函数映射,缺的是随场景复杂度与光照条件自适应的能力(§1, p1)。这句话决定了这篇工作的位置:它不打算在训练流程上做加法,而是把两个固定件都换掉。

Deformable Beta Splatting 的效果总览:几何与外观重建、几何/纹理解耦、镜面与漫反射分离
图 1-1 E 类·证据 · 原文 Figure 1, p.0 · 原样引用 怎么读 ①指认:图注写明三联,即 (a) 用可变形 Beta 核取得高保真的几何与外观表示,(b) 把表面几何与纹理细节解耦,(c) 把镜面与漫反射分量分离;可点名的对象是 Beta Kernels 与 spectral 两路分量。②读法(怎么读):把注意力放在 (b) 与 (c):这两联不是另一张重建结果,而是同一份重建被拆开的两组分量:(b) 看同一场景里「哪些属于结构、哪些属于纹理」,(c) 看「哪些是漫反射、哪些是镜面」。③对照:图注通过「naturally enabling」这层措辞把这两组能力归给 Beta 核;对照的是用固定核与低阶球谐的 3DGS 类方法做不到这种拆法。④落点:这是效果展示,不是精度凭据 —— 读数回到第 10 章的表 8-1,分解那两联的可视化在第 12 章展开。 来源:Deformable Beta Splatting(SIGGRAPH 2025 · arXiv:2501.18630v2)· 图 1 · 未修改引用(arXiv 非独占分发许可,非 CC · 逐图署名、残留风险标注)

原文在引言末尾把贡献收成三条,三条正好对应上面四处缺口(§1, p1)。第一条是 Beta 核:一个有界、灵活的核,靠更准地刻画平面、尖边与平滑区域来提升几何保真度。第二条是 Spherical Beta:一套高效的视角相关颜色模型,把漫反射与镜面分开,用更少的参数画出锐利高光。第三条是 Kernel-Agnostic MCMC:一套保分布的致密化策略,靠「正则化不透明度 + 重定义的 Beta 噪声函数」让优化稳定与高效与核的形状无关。

三条里前两条改的是表示,第三条改的是优化。这个顺序也决定了本篇的读法:第 4 到第 6 章讲表示怎么换,第 7 与第 8 章讲优化怎么跟上,第 9 到第 12 章看账。

还要补一句「固定件」这个词的分量在哪。它不是说这两件东西不能改参数:高斯的尺度、旋转、不透明度、球谐的系数,训练时都在变。「固定」指的是剖面形式与编码形式是定死的:核永远是钟形,颜色永远是球谐基的线性组合。定死意味着两件事。一件是跨参数的替换被禁掉了:想要更平的支撑,只能靠调尺度去逼近,而调尺度会同时改变覆盖范围;想要更尖的高光,只能靠提高球谐阶数去逼近,而阶数一涨参数就翻。另一件是「表达」与「分辨率」被绑在一起:一个基元要表示多细的几何,就得缩到多小;一个基元要表示多锐的高光,就得靠多少个基元去堆。原文把那句总判词落在「缺少自适应能力」上,说的正是这一层:要表达的东西变了,构件本身不会跟着变形状(§1, p1)。

2前人两条线:换核的没换编码,换编码的没换核

绕开 3DGS 天花板的尝试分成几支,原文把它们摆在一起时,缺口的形状就显出来了(§2.2, p2–p3)。

最大的一支在抗锯齿与去模糊上做文章。 Mip-Splatting、多尺度方法、解析近似、尺度自适应滤波这一路在压锯齿与闪烁,让输出更平滑;去模糊那一路用小 MLP、事件相机数据、或者把高斯参数与相机轨迹联合优化,从模糊输入里恢复清晰度(§2.2, p2)。原文对它们没有否定,但把它们归入了同一类:都在既有表示上做修正。

第二支直接换核,但只换了空间维的那一个。 2DGS 把立体高斯拍成透视准确的 2D 泼溅;3D Half Gaussian 把高斯限制到半空间以更好地建模遮挡;GES 换成广义指数函数,用更少的基元抓尖边;Linear Kernel Splatting 把高斯换成线性核以加速;3D Convex Splatting 换成光滑凸基元,更好地解出边与平面;Deformable Radial Kernel Splatting 给 2D 高斯配上可学的径向基函数,加上优化过的射线-基元求交与剔除(§2.2, p2–p3)。这一支的产出是几何侧的自由度,原文对它的总评是:尽管泼溅核的设计在推进,但「与之相配的视角相关颜色建模」与「为可变形核专门设计的致密化策略」两处缺席,仍卡住了最终画质(§2.2, p3)。这句话是第 1 章四处缺口的另一种说法,也解释了 DBS 为什么要把三件事一起做。

第三支换外观,但没换核。 Texture-GS 用 MLP 把 2D 纹理映射到 3D 表面,把外观从几何里剥出来;BBSplat 用带可学 RGB 纹理与 alpha 图的纹理化平面基元,做到 1200 FPS 以上;Gaussian Billboards 把 2D 高斯与 UV 参数化纹理统一起来;Spec-Gaussian 用 MLP 建模各向异性球面高斯以表达复杂光照(§2.2, p3)。原文给这一支的分判是速度与保真度的二选一:走公告板纹理的一路快,走 MLP 的一路准但渲染慢。DBS 在这个岔口上选的是第三条路:显式地把漫反射与镜面分开建模,灵感来自 Phong 反射模型(§2.2, p3)。

第四支重访致密化。 Scaffold-GS、RadSplat、Pixel-GS、AtomGS 这一路在做高效的基元放置与密度控制;其中 3DGS-MCMC 把基元的不透明度当概率,用随机过程改进采样与放置,同时提升画质与速度(§2.2, p3)。原文对这一支的判词最具体:这些策略是为高斯量身定的,所以要把 3DGS-MCMC 的原则推广成与核形状无关的致密化(§2.2, p3)。

四条支线摊开看,一句概括能立住:换核的那一支没换颜色编码,换颜色的那一支没换核,重访致密化的那一支默认核还是高斯。 DBS 的位置就在这三支的交汇处:核、颜色、致密化一起换,而且后两件都跟着第一件走。

这里还要交代一条跨篇的关系,因为它决定了本篇与相邻一篇的分工。本篇的第一作者与篇目 51(Universal Beta Splatting) 相同,而那篇明写本篇是它的前身。两者的分界只有一句:本篇用 Beta 核换掉的是「空间维的核形状」,颜色那一路另起了一套独立编码(Spherical Beta);篇目 51 做的是把 Beta 核抬到 N 维,让同一个核同时管空间、角度、时间,从而免掉任何独立的颜色编码。本篇的正文只按前者的口径讲,后者不在本文范围内。

四条支线之外,还有一支没有被 DBS 选的路值得点一句,因为它解释了这篇为什么不去碰隐式方法。NeRF 那一支(2.1 节)的核心困难是稠密光线采样与大量网络求值,高保真渲染因此难以实时;再加上隐式表示与游戏引擎、工业管线偏好的「显式几何」不好对接(§2.1, p2)。这两条决定了:把画质往 NeRF 那一侧追,代价是实时性与可对接性。DBS 的选择是把 NeRF 当作画质基准线(主表里的 Zip-NeRF 就是它),而把方法本身留在显式泼溅这一侧:换件换的是显式表示的构件,不换范式。这也解释了第 9 章为什么要同时把 Zip-NeRF 与 3DGS-MCMC 列为对手:一个代表画质上界,一个代表效率同侪。

3读这篇前要垫的底:核、合成、MCMC

这一章铺三块底:3DGS 的渲染链路、alpha 合成的排序假设、MCMC 致密化在做什么。后面每一节的符号都从这里接上。

第一块是渲染链路。 3DGS 的每个基元带位置、不透明度、旋转四元数与尺度,协方差由旋转与尺度拼出 Σ = R S Sᵀ Rᵀ;渲染时把椭球投影到图像平面,得到 2D 均值与 2D 协方差 Σ' = J W Σ Wᵀ Jᵀ(J 是投影的雅可比)。像素到投影后基元的距离用马氏距离度量(§3.2, p3)。DBS 沿用整条链路,只在两处动刀:核换了(式 5-2、5-3),颜色那一路换了(第 6 章)。投影、协方差、排序这些环节一个字没改 —— 这也是为什么作者能把新方法直接架在既有 CUDA 实现上。

第二块是排序假设,它是后面一条局限的来源。 alpha 合成的前提是基元沿视线方向前到后有序,而实时实现拿不到精确的逐像素射序,只能用单次深度近似来排。原文在方法章没有强调这一点,但它在结论的局限里自己点了出来:这个近似会在某些场景下偶发 popping 伪影(§5, p9)。也就是说,DBS 换掉了核与颜色,却继承了光栅化这条路的排序脆弱性 —— 这条继承关系要在第 12 章与三条局限一起读,否则容易把 popping 误当成新方法的缺陷。

第三块是 MCMC 致密化在做什么。 3DGS 原版的致密化靠梯度阈值启发式地克隆、分裂与剪枝;3DGS-MCMC 换了个视角,把每个基元的不透明度当作概率,据此识别「死」基元(不透明度低于剪枝阈值者),再用多项采样把它们重定位到活基元上,同时调整不透明度与尺度以保持底层的概率分布,另外加位置噪声鼓励探索、防止过拟合(§3.4, p6)。这套机制里有两个设计元素是与高斯绑死的:一是不透明度的调整方式,二是尺度的重算方式(后者是为了在基元边界处也保住分布)。第 8 章要做的,正是把第一个元素单独拎出来证明「它够了」,从而把第二个元素整个删掉。

三块底铺完,本篇的处境就清楚了:渲染链路与基元管理都是现成的,缺口在核的剖面、颜色的编码与致密化的判据这三处。它们分别对应第 4–6 章与第 8 章。

第三块底还要往下多垫一层,因为第 8 章整章都建在它上面。「把不透明度当概率」这个转换要做三件事才立得住。第一件是给出「死」的判据:不透明度低于某个剪枝阈值的基元被当作死样本,它们不再贡献画质,却仍占显存与算力。第二件是用多项采样把它们重定位到活基元上:采样的权重就是活基元的不透明度,于是不透明度高的位置更容易被新基元补上,这等于让基元密度自动跟着「哪里贡献大」走。第三件是把这次重定位说成「分布不变」:如果重定位之后底层概率分布的形状变了,那么下一步优化就是在优化一个已经漂移了的目标,训练会抖。所以「保分布」不只是为了好看,它给优化提供了一个稳定的靶子(§3.4, p6)。

「保分布」具体保的是什么,也值得说清。一个基元对某个像素的贡献是 o · f(x)(不透明度乘核值),而最终像素颜色是这些贡献按前到后合成的结果。当把一个基元克隆成 N 份、每份不透明度降为 o' 时,这 N 份在中心的合成贡献要等于原来的 o,而离开中心、到基元边界处,f(x) 的取值不再相同,N 份的合成与原来那一份就会出现偏差 —— 边界处的偏差正是 3DGS-MCMC 那套尺度调整要处理的麻烦。第 8 章的做法不是去修边界,而是证明在 o 足够小时这个偏差的高阶项可以忽略,于是边界这套调整整块不必存在。这条思路的价值在于它把问题的维度降了一档:从「如何为每种核分别求保分布的尺度规则」变成「如何保证 o 足够小」,后者只需要一个正则项。

4Beta 核:有界、可控形,且天然是高斯的上位

这一节从最底层的那个函数改起(§3.1, p3)。

出发点是 Beta 分布。它是输入 x 与其反射 (1−x) 的幂:

(1) f(x; α, β) = xα−1 (1 − x)β−1 ⁄ B(α, β) (Beta 分布:输入x与其反射(1−x)的幂之比,B(α, β)是归一化用的 Beta 函数,α, β > 0 是形状控制参数。原文固定 α = 1 只留反射那一项,再去掉归一化,得到下一式)(原文式 1)

其中 B 是归一化用的 Beta 函数,α, β > 0 是形状控制参数。为了让核呈钟形、从而保住 3D 视角一致性,原文固定 α = 1,只留反射那一项,并去掉归一化项,于是得到 Beta 核:

(2) B(x; β) = (1 − x)β,x ∈ [0, 1],β ∈ (0, ∞) (Beta 核:定义在闭区间上的幂函数。输入域自带上下界,因此天然紧凑、无需硬截断,β 提供形状控制;这也是「有界」二字的全部含义)(原文式 2)

这是一个定义在闭区间上的幂函数:x ∈ [0,1]、β ∈ (0,∞)。闭区间这三个字就是「有界」的全部含义:核的输入域自带上下界,因此天然紧凑、无需硬截断,而 β 提供形状控制。原文在这句之后补了一个容易被跳过的限定:不是任何函数都能保多视图一致性、也不是任何函数都够格当泼溅核,它用逆 Abel 变换证明了 Beta 核满足这些条件(证明见附录 A)(§3.1, p3)。

接下来是这篇最短但最要紧的一处工程判断:不直接学 β。 原因是偏置:β 趋近零时核强调低频,而高频形状需要 β 趋于无穷,于是直接优化 β 会把核往低频拽。修法分两步:先用指数激活把它重参数化,令 β(b) = e^b,让 b 在实数轴上自由取值而 β 恒正;再为了让训练从接近高斯的初值出发,取一个常数 c = 4,使得在 b = 0 时

∫₀¹ (1−x)^{c e^b} dx ≈ ∫₀¹ e^{−9x²} dx

原文给的读法是:这保证 b 零初始化时核近似高斯,之后在优化中自适应地变成别的形状。最终形式是:

(3) B(x; b) = (1 − x)β(b),β(b) = 4eb,b ∈ R (重参数化后的 Beta 核:直接优化 β 会把核往低频拽(β → 0 强调低频,而高频形状要 β → ∞),故改学 b;常数 4 由 b = 0 时 ∫₀¹(1−x)4e^bdx ≈ ∫₀¹e−9x²dx 的积分近似定出,使初值近似高斯)(原文式 3)

b ∈ R,核形随 b 连续变化。原文对这一步的总结值得照录:它免掉了手工调初值的需要,并且让 Beta 核成为高斯核的一个更灵活的超集("more flexible superset")(§3.1, p3)。

Deformable Beta 核:一个参数 b 控制剖面的平与尖
图 3-1 E 类·证据 · 原文 Figure 2, p.3 · 原样引用 怎么读 ①指认:图注写明核形随式 4-3 中的 b 变化;负 b 给更平的表面但更锐的截断(为了学实体支撑与尖几何),正 b 给更尖的峰(为了学高频细节);b = 0 时 Beta 核与高斯几乎一致,图注还注明此时「domain scaled by 3σ」。②读法(怎么读):盯住尾部宽度与峰顶锐度这一对:它们随 b 反向变化,b 越负支撑越宽、截止越利,b 越正峰越尖、支撑越窄。③对照:与「固定的高斯核」逐块对照,看同一段定义域上剖面怎么被拉平或收紧。④落点:b 是这篇唯一新增的几何参数(每基元一个标量),代价最小而自由度最大;形状自由度能兑换出多少画质,账在第 10 与第 11 章。 来源:Deformable Beta Splatting(SIGGRAPH 2025 · arXiv:2501.18630v2)· 图 2 · 未修改引用(arXiv 非独占分发许可,非 CC · 逐图署名、残留风险标注)

这一章要收的账是「多一个标量」换来了什么。基元参数里只多了 b(见第 5 章的式 5-1),而它统一了四件事:有界免掉硬截断、幂函数让剖面可平可尖、指数重参数化消掉优化偏置、常数 4 让初值落回高斯附近。第 8 章那条「与核形状无关」的致密化结论能成立,前提也是这里的核已经被参数化成可退化为高斯的一族。

还有一处工程上的收益容易被漏掉:有界让「影响范围」这件事不再需要一个可调阈值。高斯核要上机,必须人为定一个截断半径,而这个半径定大了浪费算力、定小了出伪影,还得随尺度的分布去调;Beta 核的定义域自带终点,核值在定义域边缘自然归零,于是「哪些像素受影响」可以直接由定义域算出来。原文没有把这层写成一条贡献,但它在第 5 章的合成式与第 8 章的致密化之间是承重的:致密化之所以能只在不透明度上做文章,前提是核的形状本身就画好了自己的边界。代价那一侧也很直白:幂运算比指数运算多一步连乘,这部分开销落在 CUDA 实现里,效率表(表 8-2)的读数说明它没有成为瓶颈。

53D 椭球 Beta 基元与渲染链路

核换好之后,要把它装进一个能渲的基元里。原文给的定义很省(§3.2, p3):

(4) B = { μ, o, q, s, b, f } (3D 椭球 Beta 基元:μ ∈ R³ 是中心、o ∈ [0, 1] 是不透明度、q ∈ [−1, 1]⁴ 是四元数表达的旋转、s ∈ [0, ∞)³ 是尺度,四项与 3DGS 完全一致;新增的只有 b ∈ R 这一个标量,它管核的形状;f ∈ Rd 是装视角相关颜色的外观特征向量)(原文式 4)

其中几何四项与 3DGS 完全一致:μ ∈ R³ 是中心,o ∈ [0,1] 是不透明度,q ∈ [−1,1]⁴ 是用四元数表达的旋转,s ∈ [0,∞)³ 是尺度。新增的只有 b ∈ R 这一个标量,它管核的形状;f ∈ R^d 是外观特征向量,装视角相关的颜色信息(§3.2, p3)。

原文对新增参数的评价是两句:b 让核从接近高斯的形式动态调整到能刻画更锐的边与更平的表面,而这一切开销极小(§3.2, p3)。这个「极小」是能从参数账上验的:相比 3DGS,每个基元多了一个浮点数;相比把球谐换成 Spherical Beta 省下的那部分(第 6 章),这一笔完全可以忽略。

渲染链路沿用 3DGS 的三步。第一步投影:用视角变换 W 把基元投到图像平面,得到 2D 中心 μ' ∈ R² 与 2D 协方差 Σ' = J W Σ Wᵀ Jᵀ,其中 Σ = R S Sᵀ Rᵀ,R 与 S 分别来自四元数与尺度。第二步算距离:像素到基元中心用马氏距离度量

(5) ri(x) = √( (x − μ′i)⊤ Σ′−1i (x − μ′i) ) (像素到投影后基元的距离:μ′i 是第 i 个基元投到图像平面后的 2D 中心、Σ′i = J W Σ W⊤ J⊤ 是它的 2D 协方差(Σ = R S S⊤ R⊤);这个半径的平方 r² 就是 Beta 核的输入 x)(原文式 5)

第三步合成:按深度排好序后(记有序集合 N = {B₁, …, B_N}),把每个基元的贡献用 Beta 核加权,做前到后 alpha 合成

(6) C(x) = Σi ∈ N ci oi B(ri(x)²; bi) ∏j = 1i − 1 (1 − oj B(rj(x)²; bj)) (用 Beta 核替换高斯核的合成式:先按深度排好序(有序集合 N = {B₁, …, B_N}),再做前到后 alpha 合成。与 3DGS 的唯一差别是把高斯核换成 Beta 核,排序与乘积形式一字未动)(原文式 6)

把这条式子和 3DGS 的原式并排看,差别只有一处:核函数从高斯换成了 B(r_i(x)²; b_i)。注意输入是距离的平方,这与第 4 章「核的定义域是 [0,1]」是配套的:马氏距离平方天然非负,再配上 Beta 核的闭区间支撑,每个基元的影响范围就自带边界,不需要额外的截断阈值。原文在这里没有展开对比,但它把这件事放在第 8 章之前讲,顺序是有意的:核有界 → 影响范围可数 → 致密化才有可能做得与核形状无关。

这一章还要记一条与后文有关的接口约定:b_i 是逐基元的(式 5-3 里带下标 i),也就是说同一个场景里不同的基元可以长成不同的形状。第 12 章的几何分解正是建立在这条之上:既然 b 逐基元可读,就能按 b 的大小把基元分成「结构」与「细节」两组。

投影那一步的细节也值得写全,因为它解释了为什么换核这件事的工程代价这么低。椭球的形状由协方差矩阵给出,而这一路解法(旋转四元数 + 三轴尺度拼出协方差,再经视角变换与投影雅可比压成 2D 协方差)在 DBS 里一个字没改:整条链路只用到协方差,不碰核的剖面。于是换核的影响被限制在两个位置:式 5-2 算出的距离怎么被核吃掉(原来是指数,现在是幂),以及式 5-3 里这个核值乘上不透明度之后如何合成。原文说实现「架在 3DGS-MCMC 框架上、并对 GSplat 库做了修改」(§4.1, p6),改动面能压到这么小,正是这条链路给的。

第三步合成里还有一处结构值得点出,它是第 6 章与第 8 章都要用到的接口。式 5-3 的每一项都由「核值 × 不透明度」组成,随后的连乘项 Π_{j<i}(1 − o_j B(r_j(x)²; b_j)) 是前序基元的透射率。这意味着两件事可以分别动:改核值动的是「空间衰减的规律」,改不透明度动的是「这个基元参与合成的强度」。本篇两处都动了 —— 核换成 Beta(前一个因子),不透明度上加正则与新的致密化规则(后一个因子)—— 而合成顺序与乘积形式一字未改。记住这条分工,第 6 章讲颜色、第 7 章讲损失、第 8 章讲致密化时才不会把它们混成一件事。

6Spherical Beta:把颜色从球谐里拿出来

核换完了,颜色还挂在球谐上。这一节把它换掉(§3.3, p4)。

球谐的账前面算过一次,这里要算得更具体。N 阶球谐的特征维度是 3(N+1)²,随阶数平方增长。要实时,N 只能取小(例如 3),而低阶球谐给出的颜色过渡是平滑且简化的,画不出锐利高光,也分不开漫反射与镜面。原文的解法借了 Phong 反射模型的骨架(§3.3, p4):

(7) c(V̂) = Am + Σm [ Dm + (R̂m · V̂)αm cm ] (经典 Phong 反射模型:Am 是环境项、Dm 是漫反射项、高光项是反射方向 R̂m 与视线 V̂ 夹角余弦的幂;锐度 αm 是手工设的常数,不随场景学)(原文式 7)

其中 A_m 是环境项,D_m 与 (R̂_m·V̂)^{α_m} c_m 分别建模光源 m 的漫反射与镜面分量;R̂_m 是归一化反射方向、V̂ 是归一化视角方向、α_m 是高光锐度系数、c_m 是光源颜色(反射方向由表面法线与光源方向算出)。Phong 的形式自带一件 DBS 需要的东西:漫反射与镜面是两个独立项,分开读写都成立。

DBS 在 Phong 的骨架上做了两处改动:把环境项与漫反射并成一个基色,把镜面项换成可学的有界 Beta 核(§3.3, p4):

(8) c(V̂) = c0 + Σm B(1 − R̂m · V̂; bm) cm (Spherical Beta:把 Phong 里手工设的幂 αm 换成可学的 Beta 高光瓣 B(1 − R̂m·V̂; bm),环境项与漫反射项并成基色 c0;维度 3 + 6M 随高光瓣数 M 线性增长。R̂m·V̂ = 0 时核值自然归零,因此没有截断类不连续)(原文式 8)

c₀ 是该基元的漫反射(基)色;每个基元带 M 个 Spherical Beta 高光瓣,第 m 瓣由反射方向 R̂_m、颜色 c_m、高光锐度 b_m 三个量描述(§3.3, p4)。

参数账在这里翻转。 式 6-2 的特征维度是

3 + 6M

也就是「基色 3 个 + 每瓣 6 个」,随瓣数线性增长;而球谐是 3(N+1)² 的平方增长。原文对这笔账给了两个数:相比 3 阶球谐,Spherical Beta 只用 31% 的参数取得更好结果(§1, p1);默认配置每基元 2 个光源(sb = 2)(§4.1, p6)。第 11 章的表 8-3 会把这个默认值连同 sb = 1/4/6 一起做消融,那三档的读数说明「瓣数不是越多越好」。

Spherical Beta 学出来的高光锐度:b 小则高光宽,b 大则高光锐
图 4-1 E 类·证据 · 原文 Figure 3, p.4 · 原样引用 怎么读 ①指认:图注写明「可学的 Spherical Beta 能有效刻画不同锐度的高光」,并给出方向:较小的 b 给更宽的反射,较大的 b 对应更锐的高光;图内可点名的对象是高光斑与对应的反射瓣。②读法(怎么读):按 b 的大小顺序横读,看同一表面上高光斑的宽窄如何变化:b 小的时候高光是铺开的一片,b 大的时候收成一小撮。③对照:与低阶球谐的对照不在图内,而在正文的判断里:固定阶数的球谐给不出这种锐度上的连续可调。④落点:这张图是 Spherical Beta 存在的理由,高光锐度成了可学量;它的定量收益在表 8-3 的 sb 四档里。 来源:Deformable Beta Splatting(SIGGRAPH 2025 · arXiv:2501.18630v2)· 图 3 · 未修改引用(arXiv 非独占分发许可,非 CC · 逐图署名、残留风险标注)

Spherical Beta 与球面高斯的对照值得单独记一句,因为它是「有界」第二次兑现价值的地方。球面高斯能建模高光,但它无界支撑、必须截断,于是在视角方向与反射方向正交的位置会出现辐亮度的不连续;而 Beta 核的输入域被限制在 [0,1],R̂_m·V̂ = 0 时辐亮度自然落到零,因此没有截断带来的伪影,辐亮度保持连续(§3.3, p4)。原文据此把有界这件事从「省事」升格成了「更对」:有界支撑配上可自适应的高光锐度,让复杂光照与高光的建模在参数更少的同时更准(§3.3, p4)。

这一章的最后要把光照分解的接口先埋下来。式 6-2 里 c₀ 与高光瓣是两项相加,所以训练完之后可以只取 c₀ 得漫反射、只开高光瓣得镜面。第 12 章的光照分解就是这两行代码。接口是式 6-2 的结构本身就给的,不需要额外的训练目标。

那笔参数账还有一个用法要交代:3 + 6M 里的 M 是可控的旋钮,而球谐的阶数 N 只能取整数档、且每升一档参数按平方涨。这就把「花多少参数在颜色上」从离散的三四档变成了一条连续曲线:M 多一点,高光瓣多一点、表达更富,但每个基元都跟着涨。原文默认取 M = 2(即 sb = 2),第 11 章的表 8-3 会把 M = 1、2、4、6 四档的画质与显存一起列出来,那里的读数说明这个旋钮的收益很快就饱和了 —— 这也是「线性增长」相对「平方增长」的另一个好处:旋钮转起来便宜,所以可以放心地去试它的甜点在哪。

7噪声函数与损失:顺手把 MCMC 的噪声也换成 Beta

表示换完了,接下来两章讲优化怎么跟上。这一章处理两处小件:位置噪声与复合损失(§3.4, p6–p7)。

位置噪声。为了让基元不只是被损失函数的梯度推着走、还能探索别的解,3DGS-MCMC 给位置加了一项噪声。DBS 沿用这个结构,但把噪声的缩放函数换掉了(§3.4, p6):

(9) μ ← μ − λlr ∇μ L + λε ε,ε = λlr · B(oi; b′) · Ση (含噪声的位置更新:3DGS-MCMC 的 logit 噪声被换成 Beta 核形式,取 b′ = ln(25) 以贴近原 logit 函数的衰减行为;这一项让基元在优化中自发地探索与重定位)(原文式 9)

λ_lr 是学习率,Ση 是采样噪声,λ_ε 控制噪声项的影响强度。关键在缩放项:3DGS-MCMC 用的是 logit 函数,DBS 换成了 Beta 核 B(o_i; b'),并取 b' = ln(25) 以贴近原 logit 函数的衰减行为(§3.4, p6)。原文对这一处的评价是「更紧凑、定义更明确」的噪声函数。

这里要咬住一个口径:b' = ln(25) 是一个为「像原函数」而选的常数,不是推导结果。原文的措辞是 to resemble the fall-off behavior of the original logit function(§3.4, p6)。所以它与第 4 章的常数 4 属于同一类设计约定:两者都是为了让新函数在某个特定条件下贴近旧函数,从而保证换件之后训练行为不漂移。列出这条的理由是:读到「b' = ln(25)」时容易以为它有什么理论必然性,其实没有。

复合损失。训练用四项相加(§3.4, p7):

(10) L = (1 − λSSIM) L1 + λSSIM LSSIM + λo Σi |oi| + λΣ Σi Σj |√eigj(Σi)| (复合损失四项:重建项由 L1 与 SSIM 加权相加,另加两项正则 —— 不透明度项 λo Σ|oi| 是为了保分布致密化(也是「o 很小」这个前提的来源),协方差特征值项 λΣ 与之配合,一起鼓励基元「消失并重生」)(原文式 10)

四项的分工,原文写得很清楚。L₁ 是逐像素的 L1 损失,管颜色还原的准确;L_SSIM 是结构相似度损失,管整场景的结构一致性;λ_SSIM 平衡这两项。第三项 λ_o Σ_i |o_i| 是不透明度正则,它的作用有两层:保证与核形状无关的致密化(第 8 章那条证明的前提就是它),以及鼓励基元去探索。第四项 λ_Σ Σ_i Σ_j |√eig_j(Σ_i)| 用第 i 个基元协方差矩阵 Σ_i 的特征值,原文说它与不透明度正则配合起来鼓励基元「消失并重生」(encourage primitives to disappear and respawn)(§3.4, p7)。

第三项与第四项的联动关系值得单独指出,因为它是理解第 8 章那条证明的钥匙。不透明度正则把 o 压小,在画质意义上是有代价的:体积表示里每个基元本就只贡献一点不透明度,压得过狠会让重建偏向透明、几何变软。原文没有回避这一点,而是在附录 D.2 用一整节讨论「小不透明度假设的合理性」,并把代价与收益摆在一起:不压则致密化会盲目克隆、重建过饱和;压过头则基元过度透明、画质同样受损;实测最优点在 λo = 0.01(第 11 章的表 13-1 逐档给出)(§3.4, p7;附录 D.2, p13)。

两项正则里的第四项容易被一扫而过,但它的作用与第三项不同向,值得把这对关系写清。不透明度正则压的是每个基元贡献的强度,协方差特征值正则压的是每个基元的空间尺度(对协方差矩阵 Σ_i 的全部特征值取绝对值之和,即各轴向尺度的量度)。单压不透明度会得到一群「很淡但可能很大」的基元;单压尺度会得到一群「很小但可能很实」的基元。两项一起才把基元推向「又淡又小」的状态,而在这个状态里重新采样与重定位的代价最低 —— 这正是原文那句「一起鼓励基元消失并重生」的机制(§3.4, p7)。

还要把它与 3DGS 原有的不透明度处理分开看,因为两者名字相似、目的不同。3DGS 家族里也有对不透明度的约束,但那是为了稀疏化(少留基元、减少过绘);DBS 这里的 λ_o Σ|o_i| 首要目的是给致密化的保分布性提供前提,稀疏只是顺带。这个区别在第 11 章的表 13-1 上能看出来:那张表把 λo 与平均不透明度并排列出,读的是「正则强度 → 不透明度分布」这条链,而不只是「正则强度 → 画质」。

8Kernel-Agnostic MCMC:只调不透明度就够

这是本篇唯一的「证明」型贡献,也是三条贡献里最容易被低估的一条(§3.4, p7)。

先把问题摆正。3DGS-MCMC 保分布靠两处调整:改不透明度、改尺度。改不透明度这一侧的既有结论是:把一个基元克隆成 N 份、每份不透明度为 o',要让合成结果不变,需要

(11) o′ = 1 − (1 − o)1/N (克隆 N 份时的既有结论:把一份不透明度为 o 的基元克隆成 N 份,为保持合成结果不变,每份应取的不透明度。3DGS-MCMC 在这一步之外还要为高斯量身重算尺度)(原文式 11)

但这条结论只在基元中心成立。离开中心、尤其是到了基元边界,保持分布就变复杂了:3DGS-MCMC 的解法是为高斯量身定一套尺度调整来照顾边界。原文对这套做法的两句评价是:复杂,且不能直接搬到可变形核上(§3.4, p7)。

DBS 的转法是把「照顾边界」这件事整个删掉,而不是换个算法去照顾它。 论证链条不长(§3.4, p7):

在小 o 的前提下,用泰勒展开把根号消掉,

(12) (1 − o)1/N ≈ 1 − o ⁄ N (泰勒近似:把上一式的开方在 o 很小时展开,得到 o′ ≈ o / N —— 克隆次数 N 从这里被消掉)(原文式 12)

于是致密化后的分布可以写成

(13) 1 − (1 − o′ f(x))N ≈ 1 − (1 − (o ⁄ N) f(x))N (致密化后的分布:把 o′ ≈ o/N 代回克隆 N 份的合成式;核 f(x) 的形状在这一步还没有被消掉)(原文式 13)

因为 (o/N) f(x) 也很小,再用一次二项近似

(14) (1 − (o ⁄ N) f(x))N ≈ 1 − o f(x) + O(o²) (二项近似:再次在 o 很小时展开,N 与核形状 f(x) 一起被消掉,只剩一个二阶余项 O(o²))(原文式 14)

就回到了原分布

(15) 1 − [1 − o f(x) + O(o²)] = o f(x) + O(o²) (回到原分布:致密化后的分布与原来单份的分布只差一个二阶余项。当 o 被正则化得很小时这一项可忽略,于是「只调不透明度」这条结论对任意克隆次数 N 与任意核 f(x) 都成立)(原文式 15)

这条链条的关键在最后一步的误差项 O(o²):它随 o 变小而变快消失,而与「克隆多少次 N」和「用哪个核 f(x)」都无关。 于是「只调不透明度」这件事的适用范围被放到了任意 N 与任意核上,尺度调整那一整块可以删掉。原文的措辞是:无论克隆次数与泼溅核如何,原分布与致密化分布的差异都会因不透明度正则而缩小(§3.4, p7);完整证明在附录 D。

这里有一处逻辑依赖必须写清,否则这条结论会被读成「无条件的」。「只调不透明度」成立的前提是 o 被正则化得很小 —— 这是证明的第一前提,而不是附带条件:泰勒近似 (1−o)^{1/N} ≈ 1 − o/N 与二项近似都需要 o 足够小。换句话说,第 7 章损失里的 λ_o Σ|o_i| 它是这条证明的必要条件,而不是陪衬。这也解释了为什么这篇论文要在附录里专门花一节讨论「小不透明度假设」的合理性(附录 D.2)。这个假设一旦不成立,整条链条断在第一步。

致密化前后两条分布曲线:不透明度越低越重合
图 14-1 E 类·证据 · 原文 Figure 8, p.14 · 原样引用 怎么读 ①指认:图注写明蓝线是原分布、红线是致密化后的分布,并且这张图是跨不同核形画的;横轴是空间位置、纵轴是分布密度。②读法(怎么读):看两条线的重合程度随不透明度怎么变:图注给了明确判据:不透明度越低,两条线的差异越小,当不透明度逼近 0.1 时几乎完全对齐。③对照:换核形再看一遍,重合结论不变 —— 这正是「与核形状无关」的图形证据,也是式 8-2 到式 8-5 的直观版本。④落点:这张图把「为什么必须把不透明度正则化」讲成了可看的现象;它同时解释了表 13-1 里 λo = 0.01 那一档为什么要按平均不透明度约 0.10 来收。 来源:Deformable Beta Splatting(SIGGRAPH 2025 · arXiv:2501.18630v2)· 图 8 · 未修改引用(arXiv 非独占分发许可,非 CC · 逐图署名、残留风险标注)

这一章收账时要把两点一起说。收益侧:删掉尺度重算意味着致密化这一步的实现变短,也意味着换核时不用再为新核重新推导一套保分布规则。第 11 章的表 8-3 里,「换到 Kernel-Agnostic MCMC 后 PSNR 上升且显存未增」这一格就是它的读数。代价侧:代价是引入了一条前提(o 小)与一条随之而来的正则项,而正则本身要调权重(表 13-1 的六档)。原文把这两侧都摆出来了,读的时候要一起收。

还有两处范围限定要写明白,免得把这条证明读成无条件结论。其一,它到一阶为止:每一步都只保留到 O(o²),结论是「在一阶意义下回到原分布」,所以当 o 不够小时,被丢掉的二阶项会重新变大,保分布性随之退化。其二,它保的是「分布的形状」,不是「渲染结果不变」 —— 克隆 N 份之后的合成在中心相等、在边界由高阶项吸收,因此几何上的细节仍可能发生变化;这也是为什么原文要把「不透明度逼近 0.1 时两条曲线几乎完全对齐」这句判据写进图 14-1 的图注,而不是只给公式(§3.4, p7;附录 D)。把这两条摆在一起,这条贡献的定位就准了:它换来的不是「更好的致密化」,而是「更简单的致密化,且代价被一条可调的正则摆在明处」。

9实验设置:四套数据集与两种训练模式

评测覆盖四套常用数据集,两套真实、一套真实小场景、一套合成(§4.2, p6):Mip-NeRF 360 面向无界真实场景,Tanks and Temples 与 Deep Blending 是常用的真实场景基准,NeRF Synthetic 是合成数据集。指标用这一领域的三件套:PSNR、SSIM、LPIPS(§4.2, p6)。

初始化的口径分两档,这一点会影响对读数的理解。Mip-NeRF 360、Tanks and Temples、Deep Blending 三套都用 3DGS 仓库提供的 COLMAP 结构光(SfM)点云做初始化;而 NeRF Synthetic 是随机初始化,原文的理由是「模拟多样的起始条件」(§4.2, p6)。也就是说,合成数据集上的读数不带 SfM 先验,比较时不能与前两套等量齐观。

实现细节逐条照录(§4.1, p6):整体架在 3DGS-MCMC 框架上,并对 GSplat 库做了修改;Beta 核与 Spherical Beta 函数都是显式且可微的,用 CUDA 实现以拿到性能;默认每个基元配 2 个光源(sb = 2),除特别说明外都按这个值;为了让核在初始化时像高斯,b 在初始化时置零。

两种训练模式是这一节最该留意的一处。 原文观察到不同场景在默认 3 万次迭代下的收敛速度不一样,于是加了一套patience 为 10k 迭代的灵活停止策略,并由此给出两个模式(§4.1, p6):

  • Ours (30k):固定训练 3 万次迭代;
  • Ours (full):带早停,跑到收敛为止(实际步数逐场景不等)。

这两个模式的报数口径不同,引用时必须带模式名。逐场景的训练时长与迭代数在附录 B里给全,超参与配置在附录 F(§4.1, p6)。效率那一侧的硬件口径是单张 NVIDIA RTX 6000 Ada(§4.2, p7)。

这一章还要记一条会反复用到的对照关系:主表的两个对手分别是隐式 SOTA(Zip-NeRF)与显式 SOTA(3DGS-MCMC)(§4.2, p6)。把对手定成这两个,说明这篇不只是与 3DGS 家族比,也把隐式方法的高画质当作基准线。

四套数据集的选择不是随手凑数,它们各自回答一个不同的问题,读结果时按这个分工读会清楚很多。Mip-NeRF 360 是通用性检验:无界真实场景、九个场景覆盖室内外,视角变化大,是这一领域最常被拿来比的一套。Tanks and Temples 与 Deep Blending 是真实场景的补充:前者含室外大尺度场景,后者是室内小场景;两套一起,把「只在某类场景上好」这种可能性压下去。NeRF Synthetic 是受控对照:合成数据、光照受控,而且它随机初始化(不带 SfM 先验),因此在这一套上的增益最能反映「方法本身」而不是「初始化好不好」(§4.2, p6)。把四套的读数分开看,本篇的增益在四套上都为正,这比在单套上刷高更有说服力。

三件指标在同一张表里并排,但它们的性格不同,混着读容易把三个数当成同一件事的三次测量。PSNR 看的是逐像素误差取对数之后的量,整体偏亮或偏暗都会被它直接扣分;SSIM 在局部窗口里比结构,对「形状被抹平」这类退化比 PSNR 更敏感;LPIPS 则是拿一个预训练网络提特征再比距离,衡量的是感知层面的接近程度。三者不总同向,所以第 10 与第 12 章引用时都按指标分别写,不把「三个都赢」当成必然 —— 第 12 章的表 12-1 里就有反例(flowers 的 LPIPS 不如 Zip-NeRF)。

最后一处要交代的是模式与口径的绑定关系。Ours (30k) 与 Ours (full) 是两种报数约定,而不是「弱版与强版」:前者固定预算便于对齐,后者跑到收敛便于看上限。两者与对手的比较要各自成立:用 30k 比效率、用 full 比画质上限,是比较稳妥的读法;而把两者的读数混在一句里说(例如「22 分钟取得 28.75」),会把早停省下的迭代与多迭代换来的画质搅在一起。

10主结果:四套数据集几乎全赢

主表把四套数据集与三件指标摆在一张表里(§4.2, p6)。

表 8-1 主结果:四套数据集 × 三件指标 (原文 Table 1, p.8 · 数值取原文文字层,逐格未改)

原文表注:Quantitative evaluation was conducted on the Mip-NeRF360 [Barron et al. 2021], Tanks&Temples [Knapitsch et al. 2017], and Deep Blending [Hedman et al. 2018] datasets. We adopt the original number from corresponding papers when available. A dash ("-") indicates results that were not reported. 表注里的这句「当可得时取对应论文的原始数字」要照录 —— 它说明表里的基线不是全部自跑;同注还说明 - 表示原论文未报。
MethodsMip-NeRF360Tanks&TemplesDeep BlendingNeRF Synthetic
PSNR↑SSIM↑LPIPS↓PSNR↑SSIM↑LPIPS↓PSNR↑SSIM↑LPIPS↓PSNR↑SSIM↑LPIPS↓
implicitInstant-NGP [Müller et al. 2022]25.510.6840.39821.720.7220.33023.620.7970.42333.180.9590.055
Mip-NeRF360 [Barron et al. 2021]27.690.7920.23722.220.7580.25729.400.9000.24533.250.9620.039
Zip-NeRF [Barron et al. 2023]28.540.8280.189------33.100.9710.031
3DGS [Kerbl et al. 2023]27.200.8150.21423.150.8400.18329.410.9030.24333.310.9690.037
GES [Hamdi et al. 2024]26.910.7940.25023.350.8360.19829.680.9010.252---
explicit2DGS [Huang et al. 2024]27.040.8050.297------33.07--
Mip-Splatting [Yu et al. 2023]27.790.8270.203------33.330.9690.039
3DGS-MCMC [Kheradmand et al. 2024]28.290.8400.21024.290.8600.19029.670.8950.32033.800.9700.040
Ours (30k)28.600.8440.18224.790.8680.14830.100.9100.24034.640.9730.028
Ours (full)28.750.8450.17924.850.8700.14030.120.9140.23634.660.9730.028

读这张表要按三个层次走。第一层看两组的分野。 表的左端把方法分成 implicit 与 explicit 两类,前者含 Instant-NGP、Mip-NeRF360、Zip-NeRF,后者含 3DGS、GES、2DGS、Mip-Splatting、3DGS-MCMC 与本文的两种配置。这一处的行组归属在原文里是竖向居中排的,字层错位后标签落在 Instant-NGP 与 2DGS 两行上;按 y 位置反推以及「3DGS 属显式方法」这条常识,最自洽的读法是 implicit 占三行、explicit 占七行。站内表按这个分法呈现,格值仍照原字层未动。第二层看 -。 Zip-NeRF 在 Tanks&Temples 与 Deep Blending 两套数据集未报(-),GES 在 NeRF Synthetic 未报,2DGS 在 Tanks&Temples、Deep Blending 与 NeRF Synthetic 的 LPIPS 未报,所以横向比 Zip-NeRF 时只有两套数据集可用。第三层才看数字。

Mip-NeRF 360 上,本文 30k 模式给 28.60,比显式 SOTA 的 3DGS-MCMC(28.29)高 0.31,比隐式 SOTA 的 Zip-NeRF(28.54)高 0.06;full 模式再抬到 28.75。Tanks&Temples 上,30k 给 24.79,比 3DGS-MCMC 的 24.29 高 0.50;full 到 24.85。Deep Blending 上,30k 给 30.10,比 3DGS-MCMC 的 29.67 高 0.43;full 到 30.12。NeRF Synthetic 上,30k 给 34.64,比 3DGS-MCMC 的 33.80 高 0.84;full 到 34.66。四套数据集、三件指标一起看,原文的判词是「在几乎所有数据集的所有指标上都超过此前方法」,逐格核对成立 —— LPIPS 一侧的差距尤其明显(Mip-NeRF 360 上 0.179 对 0.210,Tanks&Temples 上 0.140 对 0.190)。

隐式 SOTA(Zip-NeRF)与显式 SOTA(3DGS-MCMC)的定性对比
图 5-2 E 类·证据 · 原文 Figure 5, p.5 · 原样引用 怎么读 ①指认:图注写明这幅对照用的是 Deformable Beta Kernel、Spherical Beta 与 Kernel-Agnostic MCMC 三件套,对照方是隐式 SOTA(Zip-NeRF)与显式 SOTA(3DGS-MCMC)。②读法(怎么读):这里没有读数,读法是按场景逐行固定,在行内比较细节保留:优先看两处:平滑区域有没有残留噪点,高光区域是不是糊的。③对照:原文的判词写得具体:Zip-NeRF 容易出现漂浮物(floater),3DGS-MCMC 画不出锐利的镜面高光,而本文在平滑区与高细节区都保持高保真。④落点:定性证据,读数回到表 8-1;这两条判词也解释了为什么本文要在核与颜色两处同时换件。 来源:Deformable Beta Splatting(SIGGRAPH 2025 · arXiv:2501.18630v2)· 图 5 · 未修改引用(arXiv 非独占分发许可,非 CC · 逐图署名、残留风险标注)

表 8-2 效率:训练时长、显存与渲染帧率 (原文 Table 2, p.8 · 数值取原文文字层,逐格未改)

原文表注:Quantitative evaluation of training and rendering efficiency. 口径:这组数是在 Mip-NeRF 360 数据集 + 单张 NVIDIA RTX 6000 Ada 上测的;原表头的竖排组名 Mip-NeRF 360 与 Storage Mem↓ 在字层里粘连成 Storage Mip-NeRF Mem↓ 360,站内表按语义拆回。
MethodTraining Time↓Storage Mip-NeRF Mem↓ 360Rendering FPS↑
Zip-NeRF5h29m569.7MB0.184
3DGS21m797.06MB116.15
3DGS-MCMC31m733.19MB82.46
(Ours,30k,sb=2)16m356.04MB123.11
(Ours,full,sb=2)22m356.04MB123.09

效率表里有三个读数值得单独点出。训练时长:本文 30k 模式 16 分钟、full 模式 22 分钟,而 3DGS-MCMC 要 31 分钟、3DGS 要 21 分钟、Zip-NeRF 要 5 小时 29 分。显存:本文 356.04 MB,3DGS-MCMC 是 733.19 MB、3DGS 是 797.06 MB、Zip-NeRF 是 569.7 MB。渲染帧率:本文 30k 模式 123.11 FPS,3DGS-MCMC 是 82.46。原文据此写「在相同基元数下比 3DGS-MCMC 快 1.5×」(§4.2, p7)。这句里的「相同基元数」是条件,不能漏。另外显存一栏有个细节:两种模式的显存读数完全相同(都是 356.04 MB),而训练时长差了 6 分钟,这符合早停的语义(提前停的是迭代,不改基元规模)。

原文还补了一句与附录相关的说明:降低存储需求的压缩手段另在附录 E(§4.2, p7),主表里不含压缩结果。这一句在第 12 章会用到。

三件指标里最值得单独说一句的是 LPIPS,因为本篇在这一栏上的优势比 PSNR 更大。Mip-NeRF 360 上 30k 模式是 0.182 对 3DGS-MCMC 的 0.210(对 Zip-NeRF 的 0.189 也更低),Tanks&Temples 上 0.148 对 0.190,NeRF Synthetic 上 0.028 对 0.040。LPIPS 偏低通常意味着感知上更像原图,而本篇的改动方向(更利的边、更锐的高光)恰好都是感知上显眼的特征 —— 这与「换核 + 换颜色」的设计意图是对得上的。反过来也要注意:LPIPS 是学到的度量,它的可靠范围受限于训练数据分布,所以这条优势宜作为旁证而不是主证据,主证据仍是 PSNR 与 SSIM。

还有一点读表时的次序建议:先看隐式组的最低线,再看显式组的最低线,最后看本文两行。这样读的好处是能立刻看出这篇在跟什么较劲:隐式组的三行里 Zip-NeRF 是最强的画质基准(28.54/33.10),显式组里 3DGS-MCMC 是最强的效率同侪(31 分钟、82.46 FPS),本篇要同时站到这两条线的前面,而不是只赢一边。

11消融与效率:把功劳分清

这一章看三样东西:换了什么加了多少分、哪一档配置最划算、以及基元更多是否更好。

表 8-3 消融:MCMC 形态、高光瓣数与早停 (原文 Table 3, p.8 · 数值取原文文字层,逐格未改)

原文表注:Ablation Studies on Tank&Temples and Deep Blending datasets.
MethodsTanks&TemplesDeep Blending
PSNR↑Mem (MB)↓PSNR↑Mem (MB)↓
3DGS, w/ MCMC, sh=324.29437.6329.67750.23
DBS, w/ MCMC, sh=324.45445.0529.88762.94
DBS, w/ Kernel-Agnostic MCMC, sh=324.57445.0530.03762.94
DBS, w/ Kernel-Agnostic MCMC, sb=124.53155.7730.04267.03
DBS, w/ Kernel-Agnostic MCMC, sb=224.79200.2730.10343.32
DBS, w/ Kernel-Agnostic MCMC, sb=424.81289.2830.12495.91
DBS, w/ Kernel-Agnostic MCMC, sb=624.80378.2930.08648.50
DBS (full)24.85200.2730.12343.32

这张表的读法要逐段走,不能当成单调排序。第一段是致密化的两跳:从 3DGS-MCMC 换成 DBS-MCMC,Tanks&Temples 从 24.29 升到 24.45、Deep Blending 从 29.67 升到 29.88;再换成 Kernel-Agnostic MCMC,升到 24.57 与 30.03,而显存一格未增(445.05/762.94 两列前后同值)。原文原话是 "with no added memory"(§4.3 前段, p8)。这一格是第 8 章那条证明的直接读数:删掉尺度重算没有付出显存代价。

第二段是 sb 四档,它是一条折中曲线而不是「越大越好」:sb = 1 只用 155.77 MB,但读数掉到 24.53/30.04;sb = 2 用 200.27 MB,读数 24.79/30.10;sb = 4 把 PSNR 顶到 24.81/30.12,显存却涨到 289.28/495.91 MB;sb = 6 的读数反而回落到 24.80/30.08,显存继续涨到 378.29/648.50 MB。原文把这四档总结成「sb = 2 命中一个甜点(sweet spot)」(§4.3 前段, p8)。第三段是早停:在 sb = 2 的基础上加上灵活停止策略(即 DBS (full)),读数再抬到 24.85/30.12,而显存与 sb = 2 那一行完全相同(200.27/343.32),早停改的是迭代数,不改基元规模,这一点与效率表的观察一致。

表 13-1 不透明度正则权重 λo 的取舍 (原文 Table 6, p.13 · 数值取原文文字层,逐格未改)

原文表注:Mean PSNR and Opacity Distribution on the Mip-360 dataset for different λo values. 口径:这张表在原文属附录 D.2,正文里它服务于「小不透明度假设是否成立」这一问;站内按内容归到消融这一章。
𝜆𝑜PSNROpacity
0.00027.810.60 ± 0.05
0.00128.310.26 ± 0.05
0.00528.610.14 ± 0.04
0.01028.700.10 ± 0.03
0.05028.690.04 ± 0.02
0.10025.070.02 ± 0.02

这张表的意义不只是「哪个 λo 最好」,而是它把第 8 章那条证明的前提跟画质一起摆了出来。λo = 0(不正则)时 PSNR 是 27.81、平均不透明度高达 0.60 ± 0.05;随 λo 增大,平均不透明度单调下降、PSNR 先升后降,λo = 0.01 时命中峰值 28.70,此时平均不透明度是 0.10 ± 0.03;再往上到 λo = 0.10,不透明度被压到 0.02 ± 0.02,PSNR 反而崩到 25.07。原文对这个现象的解读是双向的:不压不透明度,致密化会盲目克隆基元、导致重建过饱和、画质下降;压得过狠,基元过度透明、画质同样受损(附录 D.2, p13)。而中间那段恰好落在平均不透明度约 0.1 的位置上,也正是图 14-1 里两条分布曲线几乎重合的位置 —— 证明的前提与实测的最优点在这里对上了。

基元总数与 PSNR/MSE 的关系
图 12-1 E 类·证据 · 原文 Figure 7, p.12 · 原样引用 怎么读 ①指认:图注写明左轴是 PSNR、右轴是 MSE,横轴是基元总数;可点名的对象是 Gaussian baseline 与 Beta kernel 两条曲线。②读法(怎么读):看两条曲线在哪里变平:原文说高斯基线大约在 1.5M 基元附近进入平台,而 Beta 核在整个 0.1M–5M 区间持续获益。③对照:同一预算下横向比高低,以及在同一画质水平下比较各自需要的基元数。④落点:这条曲线是「值得换致密化策略」的间接证据:若核本身还能从更多基元里持续榨出画质,那么保分布的致密化就不只是省事,而是能换到分。 来源:Deformable Beta Splatting(SIGGRAPH 2025 · arXiv:2501.18630v2)· 图 7 · 未修改引用(arXiv 非独占分发许可,非 CC · 逐图署名、残留风险标注)

把三张表与这张图合起来,这一章的结论可以收成一句:收益是分层的:核与颜色的收益落在主表上,致密化两跳的收益落在消融里,而这两类收益都靠在「小不透明度」这个前提下工作,前提本身的代价在表 13-1 里可以逐档读出来。

效率那三个数还必须分三笔读,因为它们的指向不同、且各自有前提。第一笔是训练时长:本篇的两个模式(16 分与 22 分)都短于 3DGS-MCMC 的 31 分,也短于 3DGS 的 21 分(full 模式略长于 3DGS)—— 这一笔的成立不依赖任何额外条件。第二笔是显存:356.04 MB 对 733.19 MB,几乎是砍半;这一笔与 sb 的选择直接相关(表 8-3 里 sb = 1 只有 155.77 MB),所以引用时要说清是 sb = 2 的口径。第三笔是渲染帧率,而这一笔带条件:原文的 1.5× 是在「相同基元数下」与 3DGS-MCMC 比的(§4.2, p7)。同表里 3DGS 的 116.15 FPS 与本文的 123.11 差距并不悬殊,原因是两者的基元规模不同;把「1.5×」单独摘出来当普适结论会读错。三笔都不带条件的那两笔(时长与显存)才是这篇效率主张的硬底。

12逐场景、两个分解,与三条自陈局限

先看逐场景的全量读数。

表 12-1 逐场景全量 (原文 Table 4, p.12 · 数值取原文文字层,逐格未改)

原文表注:A dash ("-") indicates results that were not reported. 口径:原表的四个组名(Mip-NeRF 360/NeRF Synthetic/TNT/DB)是竖排排的,字层里被拆成 360+Mip-NeRF、Synthetic+NeRF 一类碎片散落在不同行;站内表按语义把 25 行归入四个组,格值照原字层未动。
ScenesZip-NeRF3DGS-MCMC(Ours,30K,sb=2)(Ours,full,sb=2)
PSNR↑SSIM↑LPIPS↓PSNR↑SSIM↑LPIPS↓PSNR↑SSIM↑LPIPS↓PSNR↑SSIM↑LPIPS↓
bicycle25.800.7690.20826.150.810.1826.040.8040.16926.100.8050.170
flowers22.400.6420.27322.120.6420.3122.440.6500.30822.490.6520.306
360garden28.200.8600.11828.160.890.1028.150.8820.09628.110.8810.095
stump27.550.8000.19327.800.820.1927.560.8150.18427.500.8170.178
Mip-NeRFtreehill23.890.6810.24223.310.660.2923.490.6760.29323.500.6800.289
room32.650.9250.19632.480.940.2532.830.9410.16833.030.9420.165
counter29.380.9020.18529.510.920.2230.360.9300.15430.700.9320.149
kitchen32.500.9280.11632.270.940.1432.610.9390.11032.840.9400.107
bonsai34.460.9490.17332.880.950.2233.900.9570.15634.460.9600.151
Mean28.540.8280.18928.290.840.2128.600.8440.18228.750.8450.179
chair34.840.9830.01736.510.990.0236.740.9900.01036.700.9900.010
drums25.840.9440.05026.290.950.0426.780.9580.03326.810.9580.032
Syntheticficus33.900.9850.01535.070.990.0136.750.9900.01036.790.9900.010
hotdog37.140.9840.02037.820.990.0238.850.9880.01538.950.9880.016
lego34.840.9800.01936.010.980.0237.120.9850.01437.110.9850.014
NeRFmaterials31.660.9690.03230.590.960.0431.120.9660.03231.130.9660.031
mic35.150.9910.00737.290.990.0137.660.9940.00537.670.9940.005
ship31.380.9290.09130.820.910.1232.130.9100.10332.150.9100.104
Mean33.100.9710.03133.800.970.0434.640.9730.02834.660.9730.028
TNTtruck---26.110.890.1426.440.8970.11026.590.9010.106
train---22.470.830.2423.130.8390.18523.110.8450.174
Mean---24.290.860.1924.790.8680.14724.850.8730.140
drjohnson---29.000.890.3329.390.9080.24029.530.9100.235
DBplayroom---30.330.900.3130.820.9120.24030.710.9180.236
Mean---29.670.900.3230.100.9100.24030.120.9140.236

这张表有四处值得单独读。其一,Mean 行与主表(表 8-1)完全对得上:Mip-NeRF 360 的 28.54/28.29/28.60/28.75、NeRF Synthetic 的 33.10/33.80/34.64/34.66、TNT 的 -/24.29/24.79/24.85、DB 的 -/29.67/30.10/30.12,两表读数一致,可互证。其二,Zip-NeRF 在 TNT 与 DB 两组里全为 -(未报),因此这两组的对照只在显式方法之间成立。其三,优势并非每格都赢。逐格对 Zip-NeRF:treehill 的 PSNR(23.49 对 23.89)与 garden 的 PSNR(28.15 对 28.20)低于它,flowers 的 LPIPS(0.308 对 0.273)也不如它;逐场景看比看均值诚实:优势集中在 counter(30.36 对 29.51)、bonsai(33.90 对 32.88)、chair(36.74 对 36.51)、ficus(36.75 对 35.07)这几个场景上。其四,TNT 一组的 Mean 行在 30k 与 full 两个模式间有细微差异(24.79 对 24.85),而逐场景行里 truck 与 train 两格的 LPIPS 也各自不同(0.110 对 0.106、0.185 对 0.174)。早停改变的是收敛位置,因此逐格都会有微差。

表 12-2 逐场景开销 (原文 Table 5, p.12 · 数值取原文文字层,逐格未改)

MetricsbicycleflowersgardenstumptreehillroomcounterkitchenbonsaiMean
Number of Primitives6.0M3.0M5.0M4.5M3.5M1.5M1.5M1.5M1.5M3.1M
Training Time (3DGS-MCMC,30K)43m26m39m35m29m27m29m27m25m31m
Rendering Time (3DGS-MCMC)18.77ms11.53ms15.38ms15.75ms11.33ms8.27ms10.37ms9.09ms8.62ms12.12ms
Rendering FPS (3DGS-MCMC)53.3086.7265.0063.5488.26120.8696.43110.06116.0182.46
Memory (3DGS-MCMC)1395.42 MB709.54 MB1182.56 MB1064.30 MB827.79 MB354.77 MB354.77 MB354.77 MB354.77 MB733.19 MB
Training Time (30K,sb=2)23m14m20m17m12m14m17m13m12m16m
Training Time (full,sb=2)24m11m25m14m12m19m32m28m32m22m
Training Steps (full,sb=2)31.0K26.5K25.0K25.5K25.5K48.5K64.0K61.5K84.543.5K
Rendering Time (sb=2)12.70ms8.13ms8.71ms11.33ms7.42ms5.03ms7.69ms7.04ms5.04ms8.12ms
Rendering FPS (sb=2)78.74122.93114.7188.21134.82198.97130.01141.93198.34123.09
Memory (sb=2)686.65 MB343.32 MB572.21 MB514.98 MB400.54 MB171.66 MB171.66 MB171.66 MB171.66 MB356.04 MB

这张表把训练与渲染的开销拆到每个场景。三处值得注意。其一,基元数一列差别很大:bicycle 用到 6.0M,而 room、counter、kitchen、bonsai 都只用 1.5M,均值 3.1M,与图 12-1 的横轴口径一致。其二,渲染帧率与显存一列在 sb = 2 与 3DGS-MCMC 之间是成对下降的:例如 bicycle 从 53.30 FPS 提到 78.74、显存从 1395.42 MB 降到 686.65 MB,room 从 120.86 提到 198.97、显存从 354.77 降到 171.66。其三,bonsai 一格的训练步数读出 84.5,而同一行的其他八格都是 31.0K/26.5K 这类带 K 的形式 —— 这一格照录不改,需人工过图确认是原文缺字还是字层丢失。

表 14-1 压缩对比 (原文 Table 7, p.14 · 数值取原文文字层,逐格未改)

原文表注:Quantitative evaluation of visual quality and model size. 口径:压缩是附录 E 的额外手段,主表(表 8-1)不含压缩结果。
MethodPSNR↑SSIM↑LPIPS↓Num (M)↓Size (MB)↓Compression Time (s)↓Compression Ratio↑
3DGS27.200.8150.2143.35752.74–1
DBS-full28.750.8450.1793.11356.04–2.11
DBS-full (compressed)28.600.8400.1823.1163.4841.7011.86
DBS-1M28.420.8310.2051.00114.44–6.58
DBS-1M (compressed)28.320.8280.2071.0022.3214.2833.72
DBS-490K28.030.8160.2320.4956.08–13.42
DBS-490K (compressed)27.800.8060.2370.4911.379.1566.20

压缩表给的是「画质换体积」的逐档曲线。未压缩时 DBS-full 是 28.75/0.845/0.179、体积 356.04 MB、压缩比记为 1;压缩后读数落到 28.60/0.840/0.182、体积降到 63.48 MB、压缩比 11.86,代价是 41.70 秒的压缩耗时。往下还有两档:DBS-1M 用 1.00M 基元、114.44 MB、压缩比 6.58,压缩后 22.32 MB、压缩比 33.72、PSNR 28.32;DBS-490K 用 0.49M 基元、56.08 MB、压缩比 13.42,压缩后 11.37 MB、压缩比 66.20、PSNR 27.80。对照的 3DGS 是 752.74 MB(压缩比 1)。读这张表时要把「压缩带来的画质损失」和「降基元数带来的画质损失」分开看 —— 同一个 28.60 既可能来自压缩,也可能来自更少的基元,两栏里的 Num (M) 与 Compression Time (s) 就是用来区分的。

把这张表的四档连起来读,还能看出一条梯度的性价比:从 3DGS 的 752.74 MB 到 DBS-full 的 356.04 MB(压缩比 2.11)是纯粹的表示收益,画质反而升了(28.75 对 27.20);从 356.04 MB 到 63.48 MB(压缩比 11.86)付的是画质(28.75 → 28.60);从 63.48 MB 到 11.37 MB(压缩比 66.20)付的是画质与基元数两样(28.60 → 27.80,基元数 3.11M → 0.49M)。三段的代价依次加重,而起点已经比 3DGS 小了一半 —— 这也是「换件」最直观的一处兑现:同样的场景,先因为表示更紧凑而省掉一半,再因为压缩而省掉一个量级。

几何分解:Beta 核把场景拆成基础结构与高频细节
图 5-1 E 类·证据 · 原文 Figure 4, p.5 · 原样引用 怎么读 ①指认:图注写明本文的 Beta 核能把场景几何分解为基础结构与精细细节(高频纹理与细微表面变化)两组。②读法(怎么读):看同一场景里被分到两组的基元各自长什么样:一组是块面与轮廓,另一组是纹理与细变。③对照:原文给了两个具体例子,treehill 场景里的树皮纹理被单独分出,garden 场景里桌面的细节纹理被摘掉后整体桌面几何仍被保留。④落点:这是训练后的后处理:按 b 设掩码、或按全体 b 的均值做一次二分即可,不是训练目标;原文未给分解质量的任何定量指标,这里只描述现象、不打分。 来源:Deformable Beta Splatting(SIGGRAPH 2025 · arXiv:2501.18630v2)· 图 4 · 未修改引用(arXiv 非独占分发许可,非 CC · 逐图署名、残留风险标注)

几何分解动的是 b 这一个标量,光照分解动的是另一个部件。第 6 章把颜色从球谐里拿出来时说过,Spherical Beta 的基色 c₀ 与高光瓣是两项相加,所以训练完之后可以只取 c₀、或只开高光瓣,各看一路。同一张场景渲染在这两种取法下的样子,与上面几何分解的两联放在一起,就构成这篇「分解」主张的完整证据面。

光照分解:Spherical Beta 把漫反射与镜面分开
图 7-1 E 类·证据 · 原文 Figure 6, p.7 · 原样引用 怎么读 ①指认:图注写明 Spherical Beta 的颜色编码能有效地把漫反射与镜面分量分解开,而用低阶球谐的 3DGS 类方法做不到。②读法(怎么读):看同一场景里「基色分量」与「高光分量」各自呈现什么:前者是物体的本底颜色,后者是视角相关的亮斑。③对照:原文给了两个例子,bicycle 场景里黑色长椅与白色高光被分开,bonsai 场景里容器上的亮高光被重建出来,而高斯泼溅抓不到这种极端的视角相关细节。④落点:与图 5-1 同属「训练后可读出的副产品」,接口就是式 6-2 的两项相加结构(只取 c₀ 得漫反射、只开高光瓣得镜面),同样不给定量指标。 来源:Deformable Beta Splatting(SIGGRAPH 2025 · arXiv:2501.18630v2)· 图 6 · 未修改引用(arXiv 非独占分发许可,非 CC · 逐图署名、残留风险标注)

三条作者自陈局限(§5, p9)要逐条写全,它们是这篇自己划的边界。第一条是光栅化的代价:本框架基于光栅化,因此会偶发 popping 伪影,原因是排序时的深度近似不准。第二条是能力边界:Spherical Beta 虽然自适应,但建模镜面反射与各向异性高光仍有困难。第三条是视锥模型的影响:视锥模型使远处背景的平坦几何被优化成 Beta 形,从而影响整体的 b 几何分布。原文对三条的收句是「这些局限为后续改进提供了机会」。

三条之外,这一章还要把九条边界一并交代清楚,其中四条来自上面的表与图读数,五条来自原文的口径选择:

  1. 「b=0 时像高斯」是近似而非等价。原文用 almost identical 与 ≈,常数 c = 4 是靠 ∫(1−x)^{4e^b} ≈ ∫e^{−9x²} 这个积分近似定出来的(§3.1, p3)。正文写「近似/像」,不写「等于」。
  2. 常数 4 与 b' = ln(25) 都是为「贴近旧函数」而选的设计值,不是推导结果(§3.1, p3;§3.4, p6)。前者贴高斯,后者贴原 logit 噪声的衰减。
  3. 「45% 参数 / 1.5× 更快」的对照对象是 3DGS 与 3DGS-MCMC,不是 Zip-NeRF;且 1.5× 的成立条件是原文写的「相同基元数下」(§4.2, p7)。
  4. 两种训练模式的报数口径不同:Ours (30k) 固定 3 万次迭代,Ours (full) 含 patience 10k 早停,逐场景步数不等(表 12-2 一列里从 25.0K 到读出为 84.5 的那一格)。引用必须带模式名。
  5. 主表基线不是全部自跑:原文自述「当可得时取对应论文的原始数字」,且 Zip-NeRF 在 T&T 与 DB 两套数据集未报(表 8-1 与表 12-1 中均为 -)。
  6. sb 是折中曲线不是单调更优:sb = 4 把 PSNR 顶到最高(24.81/30.12)却把显存推到 289.28/495.91 MB,sb = 6 读数反而回落。
  7. 表 12-2 的 bonsai 训练步数读出 84.5 而缺 K:同列其余八格都带 K。照录不改,需过图确认。
  8. 两个分解是训练后后处理、且无定量指标:几何分解按 b 设掩码或取均值阈值二分,光照分解只取 c₀ 或只开高光瓣(§4.3, p9);原文未给任何分解质量指标,本站只描述现象、不打分。
  9. 压缩是附录 E 的额外手段,主表不含;且表 14-1 里两栏变化混在一起(体积变化与基元数变化),引用时要分开说。

这一章的收句可以这么写:这篇论文给了一个很整齐的「三处换件」,但边界同样整齐 —— 光栅化带来的 popping 是继承的、镜面与各向异性高光是明确不擅长的、远处背景的 b 分布是被视锥模型影响的;而上面九条口径加起来的实际含义是:读它的账时,必须先分清「哪个数是对谁比的」「哪个模式报的」「有没有压缩」。

13贡献块

这一篇的贡献(精读视角)

原文在引言末尾列了三条贡献(§1, p1)。三条看起来是并列的三件事,但按顺序读下来,它们是一条线上的三环:换了核,就必须给这个核配一套能表达的颜色;给核换了形状,原有的致密化规则就失效。

第一条是 Beta 核。一个有界、灵活的核,靠更准确地刻画平面、尖边与平滑区域来提升几何保真度(§1, p1)。这一条解决的是第 1 章那两笔账:有界免掉硬截断,幂函数让剖面可平可尖。它也是三条里代价最小的一条:每个基元只多一个标量 b(式 5-1)。

第二条是 Spherical Beta。一套高效的视角相关颜色模型,把漫反射与镜面分开,用更少的参数画出锐利高光(§1, p1)。这一条解决的是球谐那两笔账:维度从 3(N+1)² 的平方增长改成 3 + 6M 的线性增长(§3.3, p4)。把它与第一条摆在一起看,分工很清楚:核换掉了「形状」这一路的固定件,Spherical Beta 换掉了「颜色」这一路的固定件,两件合起来才把 3DGS 的两处天花板一起抬掉。

第三条是 Kernel-Agnostic MCMC。一套保分布的致密化策略,靠「正则化不透明度 + 重定义的 Beta 噪声函数」让优化稳定与高效与核的形状无关(§1, p1)。这一条解决的是「换件之后的兼容性」:3DGS-MCMC 的保分布机制里有两块是为高斯量身定的(不透明度的调整方式、尺度的重算方式),DBS 证明第一块单独就够了,于是第二块可以整块删掉(§3.4, p7)。

把三条合起来,这篇的贡献能压成一句:它把 3DGS 的两件固定件都换成了可学的版本,并证明换了之后致密化那套机制反而可以更简单。 三条里最硬的一条是第三条,因为它给出的是证明而非读数,适用范围写在证明里(任意克隆次数、任意核);最容易被误读的是第一条,因为「有界」看起来只是个数值性质,实际同时换来了免截断与连续辐亮度两件事(§3.3, p4)。

这一章的最后还要交代本篇与相邻一篇的分工,因为两篇的第一作者相同。本篇换掉的是「空间维的核形状」,颜色那一路另起了一套独立编码(Spherical Beta);篇目 51(Universal Beta Splatting)做的是把 Beta 核抬到 N 维,让同一个核同时管空间、角度、时间,从而免掉任何独立的颜色编码。 换句话说,本篇把「核」与「颜色」当成两个可分别优化的部件,而 51 把它们合成了一件。这个差别也解释了为什么 51 的参数账能压到更低:它省掉的是本篇里那套 Spherical Beta。本篇的正文只在需要划界的两处(第 2 章与本章)提这一句,不展开 51 的内容。

14出处块

原文出处

原文出处:Deformable Beta Splatting,SIGGRAPH 2025(arXiv Comments 栏原文),arXiv 编号 2501.18630(当前版本 v2,2025-05-06;v1 为 2025-01-27)。作者为 Rong Liu、Dylan Sun、Meida Chen、Yue Wang、Andrew Feng,单位是南加州大学(University of Southern California,其中三位属 Institute for Creative Technologies)。原文地址 https://arxiv.org/abs/2501.18630,项目页 https://rongliu-leo.github.io/beta-splatting/(交互演示与源码,摘要原话给出)。

许可与本站处置:原文采用arXiv 非独占分发许可(nonexclusive-distrib/1.0),非 CC 许可。abs 页的 License 链接指向该许可;PDF 采用 ACM 双栏排版件,正文里没有本篇自身的卷期行(文字层里 ACM Trans. Graph. 的三次命中全在参考文献中),卷期以 arXiv Comments 栏的「SIGGRAPH 2025」为准。因此本站不托管原文 PDF,文末只给 arXiv 规范链接;页内所有图与表一律原样零加工引用(未裁切拼接、未加标注、未施滤镜),并逐件署名如下。

图件署名(8 件,全部为 E 类证据图、原样引用、未修改)

  • 图 1-1=原文 Figure 1(p.0)|Deformable Beta Splatting(SIGGRAPH 2025 · arXiv:2501.18630v2)
  • 图 3-1=原文 Figure 2(p.3)|同上
  • 图 4-1=原文 Figure 3(p.4)|同上
  • 图 5-1=原文 Figure 4(p.5)|同上
  • 图 5-2=原文 Figure 5(p.5)|同上
  • 图 7-1=原文 Figure 6(p.7)|同上
  • 图 12-1=原文 Figure 7(p.12)|同上
  • 图 14-1=原文 Figure 8(p.14)|同上

图件为区域渲染取得(位图原生与矢量标签一起渲染、3.0× 栅格化、约 216 dpi),未做任何修改。其中 图 1-1/5-1/5-2/7-1/14-1 五件为通栏满幅位图,因此它们的四边墨迹非零(分别为 4.74%/22.53%/36.59%/23.10%/3.50%)—— 这属正常,图域即位图边界;图 3-1 与图 4-1 两件边墨恰为 0,图 12-1 为 1.56%。因原文为非 CC 许可,图件保留残留风险标注:本站非商业使用、逐图署名并声明未修改,但不拥有再分发权。

表格(7 张,数值全部按原文文字层逐格取值,未改位数、未做换算)

表 8-1=Table 1(p.8)|表 8-2=Table 2(p.8)|表 8-3=Table 3(p.8)|表 12-1=Table 4(p.12)|表 12-2=Table 5(p.12)|表 13-1=Table 6(p.13)|表 14-1=Table 7(p.14)。表体统一以 HTML 重排呈现,不使用截图。三处版式造成的成格待核已在正文相应位置写明:表 8-1 的 implicit/explicit 行组归属、表 12-1 的四个竖排组名被字层切碎、表 12-2 的 bonsai 训练步数读出 84.5 而缺 K。

附录索引(正文按页引用,附录式一律不落式块)

  • 附录 A SPLATTING KERNELS(A.1 Splatting Condition、A.2 Inverse Splatting、A.3 General Conditions for 2D Kernel Functions):用逆 Abel 变换证明 Beta 核满足多视图一致性与有效泼溅核条件(§3.1 正文指向此处)。
  • 附录 B PER-SCENE RESULTS:逐场景评测结果与逐场景训练时长/迭代数。
  • 附录 C KERNEL COMPARISON:与其它泼溅核的对照。
  • 附录 D KERNEL-AGNOSTIC DISTRIBUTION-PRESERVED DENSIFICATION(D.1 Detailed Proof、D.2 Validity of the Small Opacity Assumption):第 8 章那条证明的完整推导;D.2 正面讨论「小不透明度假设」的合理性与表 13-1 的逐档读数。
  • 附录 E COMPRESSION:压缩手段与表 14-1 的完整数据。
  • 附录 F HYPERPARAMETERS:训练超参与配置。

怎么读这篇:如果只读一章,读第 8 章,它是本篇唯一的证明型贡献,也是「换核之后致密化反而能更简单」这件事的全部依据;如果要判断这条路值不值得跟,读第 12 章(三条自陈局限与九条边界都在那里);如果关心与相邻工作的关系,注意第 2 章与第 13 章各有一句交代与篇目 51 的分工。

致谢照录:原文致谢写明本工作由以下资助支持:模拟与训练技术中心(STTC)Battlespace Content Creation(BCC)团队的 Clayton Burford 先生(主要赞助方)、University Affiliated Research Center(UARC)award W911NF-14-D-0005、Toyota Research Institute University 2.0 计划、以及来自 Dolby 与 Google DeepMind 的 gift fund。原文同时声明所述观点与内容不代表政府立场或政策,不应推断为官方背书。