篇目 44 · 单篇论文精读

没有单一方法能通吃所有动态场景:让专家各训各的,再把 3D 权重泼溅进像素空间做路由

MoE-GS · 动态重建这条线上的方法已经不少,麻烦在于没有哪一个能一直好:换个场景、同一场景里换个空间块、同一段视频里换个时刻,最优方法都在换人。这篇把「选一个」换成「混几个」——让形变先验互不相同的专家同时重建,路由器给每个高斯算一组逐高斯权重、可微泼溅进像素空间再融合。N3V 平均 33.23 dB;N=2 剪掉 55% 后 32.80 dB/83 FPS,PSNR 只让 0.02 dB

In-Hwan Jin、Hyeongju Mun、Joonsoo Kim 等 釜山国立大学 / 韩国电子通信研究院(ETRI) arXiv:2510.19210v2 · ICLR 2026 2026 年 · arXiv 非独占分发(非 CC,不托管)
14 章一级章节(按拆解点切)
16 式原文 (1)–(16) 重排
11 张配图(原文 11 / 自绘 0)
8 条边界与反例(独立成节)

图-段配对表 · 本稿 11 张

图角色档归属支撑的论断层次状态
图 1-1E§1立题的三组证据:跨场景 / 同场景内跨空间块 / 同视频内跨时刻,最优方法都在换人①②③原文 Fig. 1, p.1 · 原样引用
图 3-1E§3框架总览:两阶段(各专家独立重建 → 冻结专家训路由器)与三个专家的来路①②③原文 Fig. 2, p.3 · 原样引用
图 5-1E§5三种路由架构的对照:2D 像素级、3D 体级、本文的体感知像素级①②④原文 Fig. 3, p.4 · 原样引用
图 5-2E§5体感知像素路由器的内部结构(逐高斯权重如何泼溅成像素特征)①②③原文 Fig. 6, p.13 · 原样引用
图 5-3E§5路由变体的定性后果:像素级过平滑、体级丢细节,本文两者兼顾②④原文 Fig. 5, p.9 · 原样引用
图 8-1E§8N3V 上的定性对比(黑底标注每个区域里最接近真值的基线)①②③原文 Fig. 4, p.8 · 原样引用
图 9-1E§9蒸馏的定性结果:重训练与蒸馏在同场景上的画面差别②③原文 Fig. 9, p.18 · 原样引用
图 10-1E§10补充:N3V 上更多场景的定性对比②④原文 Fig. 7, p.16 · 原样引用
图 10-2E§10补充:Technicolor 上的定性对比②④原文 Fig. 8, p.17 · 原样引用
图 11-1E§11多视角深度一致性:本文与其它动态高斯方法的深度图对照①②④原文 Fig. 10, p.20 · 原样引用
图 12-1E§12专家专精:各方法给出的运动轨迹(用于说明专家学到了不同的运动模式)②④原文 Fig. 11, p.21 · 原样引用
角色档:本篇 11 张全部登记为 E 类(证据图)——它们承载可核对的读数(对照读数标在页内、或作为某条论断的唯一证据),按 20 号票的裁决 E 类禁止自绘,故一律引用原图。自绘 0 张,S 类配额未动用。
取图口径:11 张按实测包围盒从原文 PDF 裁取、3.0× 栅格化(约 216 dpi),未裁切拼接、未加标注、未施滤镜,逐图署名(图号 + 原文 Figure 号 + 页码 + 未修改声明)。三张架构示意图(图 3-1、图 5-1、图 5-2)与八张对照图/曲线(图 1-1、图 5-3、图 8-1、图 9-1、图 10-1、图 10-2、图 11-1、图 12-1)的画面不读值,例外是图 5-3 内已写出的 31.12/32.05/33.23 三处标注,可点名。
表:13 张数据表不以截图呈现,而是按原文文字层逐格取值后以 HTML 重排(465 个数値格,可逐格核对);数值未改位数,原始裁图留作核对凭据(tables/tab1..tab13.png)。另有 2 张释义表(式 4-1 至式 4-5 的符号释义、效率相关量的口径)由本站整理。
许可:原文预印本 arXiv:2510.19210v2 的 arXiv 摘要页标注的是 arXiv 非独占分发许可(licenses/nonexclusive-dist/1.0,非 CC);PDF 内没有任何许可声明(逐页检索 Copyright / Creative Commons / CC BY / CC0 / License / licensed / All rights reserved / non-exclusive / perpetual,一处未命中,只命中参考文献里的 arXiv 号)。该许可只允许 arXiv 自身分发,因此本站不提供站内 PDF 托管,按分区既有做法逐件登记、逐图署名引用,存在许可残留风险(与篇目 02/03/09–11/13/15/16/18/43 同类)。所有图均为原文截图原样引用、未修改,逐图署名(图号 + 原文 Figure 号 + 页码 + 未修改声明)。
原文摘要 Abstract, p.0(英文原样引用)

"Recent advances in dynamic scene reconstruction have significantly benefited from 3D Gaussian Splatting, yet existing methods show inconsistent performance across diverse scenes, indicating no single approach effectively handles all dynamic challenges. To overcome these limitations, we propose Mixture of Experts for Dynamic Gaussian Splatting (MoE-GS), a unified framework integrating multiple specialized experts via a novel Volume-aware Pixel Router. Unlike sparsity-oriented MoE architectures in large language models, MoE-GS is designed to improve dynamic novel view synthesis quality by combining heterogeneous deformation priors, rather than to reduce training or inference-time FLOPs. Our router adaptively blends expert outputs by projecting volumetric Gaussian-level weights into pixel space through differentiable weight splatting, ensuring spatially and temporally coherent results. Although MoE-GS improves rendering quality, the increased model capacity and reduced FPS are inherent to the MoE architecture. To mitigate this, we explore two complementary directions: (1) single-pass multi-expert rendering and gate-aware Gaussian pruning, which improve efficiency within the MoE framework, and (2) a distillation strategy that transfers MoE performance to individual experts, enabling lightweight deployment without architectural changes. To the best of our knowledge, MoE-GS is the first approach incorporating Mixture-of-Experts techniques into dynamic Gaussian splatting. Extensive experiments on the N3V and Technicolor datasets demonstrate that MoE-GS consistently outperforms state-of-the-art methods with improved efficiency. Video demonstrations are available at cvsp-lab.github.io/MoE-GS."

这一篇要讲清的11件事
  • 立题不是"我的方法更好",是"没有方法一直好":原文用图 1 摆三组证据 —— 跨场景最优方法换人(1a)、同场景内跨空间块最优方法不同(1b)、同视频里跨时刻最优方法也不同(1c),并点出这两个后果:最优适用范围是有限的,而"该选谁"这件事本身需要自适应(原文 §1)。
  • 这条路与语言模型的 MoE 方向相反:语言模型里的 MoE 以稀疏化省算力为目的,MoE-GS 明确说自己是为画质——把异质的形变先验合起来用,而不是减少训练或推理的 FLOPs(原文摘要原话)。这一点决定了后面所有设计取舍。
  • 路由器是"3D 权重泼溅进 2D 再融合",两头的好处都要:纯 2D 的 Pixel Router 训练稳但缺 3D 上下文、结果过度平滑、抓不住锐利边界;纯 3D 的 Volume Router 改高斯不透明度、几何结构保得住但细节保不住,且常出现优化不稳与过平滑。本文给每个高斯算逐高斯权重 w^per = [w(不透明度)、w^dir(方向)、t·w^time(时间加权轨迹)],可微地泼溅到像素空间拼成路由特征,再过一个轻量 MLP 出残差、softmax 成融合权重(式 5-1、式 5-2、式 5-3)。账面上 33.23 / 0.954 / 0.021,两个对照是 31.12 与 32.05(表 5-1,原文 Table 4)。
  • 代价是承认下来的:摘要里直接写「容量上升与 FPS 下降是 MoE 架构固有的」,没有藏;两个缓解方向也因此分成框架内(单遍渲染 + 剪枝)与框架外(蒸馏回单专家)两条。
  • 训练分两阶段,理由有两个:专家先各自独立训到收敛,第二阶段冻结专家只训路由器。一是若一开始就让门控参与,收敛快的专家会早期独占门控权重,其余专家拿不到梯度;二是路由器要的是已经稳定的专家输出当监督目标(原文 §3 开头、附录 B.1)。
  • 单遍渲染省的是重复的活:多专家各渲一遍再融合,等于把每张图的投影与可见性判断做了 N 遍(式 6-1 里的 T_j 透射率与 α_j 不透明度都是逐高斯的量);单遍做法让每个高斯只投一次、按各专家的权重在同一个合成式里加权,于是重复投影与遮挡计算的成本被摊掉。
  • 剪枝确实要配蒸馏:门控感知剪枝按门控输出对该高斯逐高斯权重的敏感度给重要性(式 6-2:在数据集 D 上取 |∂G′/∂w^per| 的平均),敏感度低的高斯先剪;原文明确说单靠激进剪枝会不稳,要靠蒸馏把性能补回来(原文 §3.3、§3.4)。
  • 蒸馏的目标是把 MoE 的画质搬到单个专家身上:式 7-1 的损失前半是「用门控权重加权的专家渲染」对「同一加权的真值」,后半是「剩下的权重下专家的渲染」对「同权重的 MoE 渲染」——两条都乘上同一组门控权重,于是蒸馏只在该专家真正负责的像素上施压。这样部署时不必改架构,直接用一个专家跑。
  • 账面数字:N3V 平均 33.23 dB(MoE-GS (N=3));效率侧 N=2 是 32.82 dB/44 FPS/878.7,剪掉 55% 后 32.80 dB/83 FPS/351.2(表 6-1,原文 Table 3;本站复算:帧率 1.89 倍、显存账降到 40%、PSNR 只让 0.02 dB)。训练预算那组:100%/50%/20%/10% 四档,20% 档仍胜满额基线,10% 档的 32.14 反而低于满额 E-D3DGS 的 32.33(表 9-1)——原文只声称 20% 档仍胜,本站按读数如实并列。
  • 五处实读发现(本站逐格核过 465 个数値格,一致 55 格 / 不一致 13 格):表 8-1 ↔ 表 10-1 的 MoE-GS (N=4) · Cut Roasted Beef 35.20 与 35.08;表 8-2 ↔ 表 10-2 的 STG · Birthday 32.16 与 31.90、Painter 37.18 与 37.07,Ex4DGS 三格全不同;表 9-2 ↔ 表 12-2 的 E-D3DGS 蒸馏后 SSIM 0.915 与 0.918;表 8-1 ↔ 表 6-1 的 Ex4DGS 32.10 与 32.01、MoE-GS (N=2) 32.54 与 32.82。另有一处自身不自洽:表 8-2 的 MoE-GS (N=3) Average 写 34.55,而该行五个场景值 33.26/36.26/37.63/32.88/32.89 的均值是 34.584,表 10-2 同一配置写 34.58 —— 本节正文只并列两处读数与均值,不替作者改。
  • 两条被原文自己否掉的替代路(附录 B.4):论文交代过几种省成本的做法并说明了为何不用,第 6 章要逐条写清楚被否的理由。

1立题:没有单一方法能通吃所有动态场景

摘要开篇那句 existing methods show inconsistent performance across diverse scenes, indicating no single approach effectively handles all dynamic challenges(原文摘要,p.0)是整篇的入口,把它摊开就是一组可以逐条对账的实证观察。

原文在引言里把判断摆得很直接:动态场景重建近来受益于 3D Gaussian Splatting,可现有方法在多样场景上的表现并不一致,由此得出没有单一方法能有效处理所有动态挑战这一结论(原文 p.0)。支撑它的是一组实证分析,也就是图 1 的三栏:场景级(Fig. 1a,Scene PSNR per Model)、空间块级(Fig. 1b,Patch-wise PSNR per Model)、时间级(Fig. 1c,Time PSNR per Model)(原文 p.1 图注)。三栏各说一件事,合起来说明最优方法一直在换人。栏题都带 per Model,纵轴标为 PSNR (vs. avg),横轴分别是场景、块索引与时间步(原文 p.1 图注)。

第一件是场景级差异(Scene-level variations):不同重建方法在不同场景上的性能差异显著,说明每个模型的最优适用范围是有限的,原文由此指出自适应模型选择(adaptive model selection)的必要(原文 §1,p.0)。第二件是空间级不一致(Spatial-level inconsistencies):同一场景内,重建质量随空间区域与所用方法而变,没有单一模型能在给定场景的所有区域稳定占优(原文 §1,p.0)。第三件是时间波动(Temporal fluctuations):一个视频序列内,表现最好的方法逐帧变化,原文说这反映了真实世界动态的内在时间复杂性,也说明单个模型难以持续抓住复杂的时间模式(原文 §1,p.1)。三条限制指向同一个后果,任何一位专家能拿下的范围都有边界,该选谁要按场景、按区域、按时刻分别判断。三条合起来是三层尺度,场景之间、同一场景的空间块之间、同一段视频的时间步之间,不一致在每一层上都出现(原文 §1,p.0–p.1)。

原文把成因归到归纳偏置上。现有动态高斯方法的形变先验是异质的(heterogeneous inductive biases),每一类天然适配一种运动模式:HexPlane 类规范形变产出的轨迹平滑、正则强,在静态或低运动区域好用;逐高斯体形变能抓住快而连贯的流;多项式轨迹模型偏好全局平滑、低曲率的运动;插值式方法常给出局部多样、不规则的轨迹(原文 §1,p.1)。真实场景通常混合了这些运动模式,因此没有单一形变先验能在所有空间与时间区域都做到最优(原文 §1,p.1)。这一句是整篇的立题句,后面的设计都在回答它。

配上代表,这条线上的三类形变先验是:以 MLP 形变网络为骨架的 4DGaussians 与 E-D3DGS,以多项式运动模型为骨架的 STG,以及插值式的 Ex4DGS(原文 §1,p.0)。图 1 的图注另把四条代表性运动轨迹并排画出,四家配色分别是 4DGaussians(Green)、STG(Purple)、E-D3DGS(Pink)与 Ex4DGS(black),用来展示它们各自的运动行为并不相同(原文 p.1 图注)。

原文的立场可以压成一句话,把「选一个」换成「混几个」。文中写的是 MoE-GS 把单个专家模型换成多位专精专家的自适应选择与混合,按空间、时间与场景相关的动态随时调整判断(原文 §1,p.1)。同处还有一条口径必须记住:与大型语言模型里以稀疏性为导向的 MoE 不同,MoE-GS 的目的不在削减 FLOPs 或显存,它的重心是靠组合异构的形变先验抬高表示容量与动态重建质量,效率技术只是让这份额外开销保持可用的配套(原文 §1,p.1)。

有一处分寸要点明。图 1 是作者的立题论据,不是可复算的结论:三栏的柱状读数与四条轨迹的数值都不在原文文字层里,正文只引原文写出的判语,不替它读图上没有的数(原文 p.1 图注)。

没有单一方法能通吃所有动态场景:场景级、空间块级与时间级三层证据
图 1-1 E 类·证据 · 原文 Figure 1, p.1 · 原样引用 怎么读 ①指认:图分 (a)(b)(c) 三栏,栏题为 Scene PSNR per Model、Patch-wise PSNR per Model、Time PSNR per Model,栏内文字分别是 Different models perform best on different scenes、…in different spatial regions、…at different timesteps;三栏的纵轴标为 PSNR (vs. avg),横轴分别为场景名(Sear Steak/Coffee Martini/Cook Spinach/Cut Beef/Flame Salmon/Flame Steak)、Patch Index 与 Time Step;图例名是 4DGaussians (Hex.)、E-D3DGS (Per.)、Ex4DGS (Inter.)、STG (Poly.) 与 MoE-GS;图注另说明用四条代表性运动轨迹展示 4DGaussians(Green)、STG(Purple)、E-D3DGS(Pink)与 Ex4DGS(black)各自的运动行为。②读法(怎么读):图注原话是 (a) 场景级没有任何单一方法在所有场景上持续占优、(b) 空间级不同空间区域偏好不同的形变模型、(c) 时间级同一场景里表现最好的方法随时间变化,另说明补充视频结果在项目页上。 来源:MoE-GS: Mixture of Experts for Dynamic Gaussian Splatting(ICLR 2026 · arXiv:2510.19210v2)· 图 1 · 未修改引用(arXiv 非独占分发许可,非 CC)

把账对回原文:三条限制按 Scene-level variations、Spatial-level inconsistencies、Temporal fluctuations 的顺序写在 §1(p.0–p.1),四点形变成因写在 §1(p.1),三栏标题与四条轨迹配色出自图 1 的图注(p.1),「不为减少 FLOPs 或显存」这句同样落在 §1(p.1)。

2两条前人线:形变表示的三种走法与 MoE 的来路

第 1 章把「没有普适赢家」这条观察立住,还点出三类形变先验各自适配一种运动模式;这两块地基分别借自哪里,得回到文献里看清楚。

动态新视角合成(Dynamic Novel View Synthesis)的目标,是从时序变化场景的稀疏观测里重建新视角(Gao et al., 2021;Park et al., 2021)。原文提了一条代价:要有效建模复杂的场景动态,往往得用上更高级的时间建模技术,而它会显著抬高计算复杂度与显存占用(原文 §2.1,p.2)。后面三条走法就是在「时间怎么建模」上分出来的。

第一条走法是隐式方法(implicit),学一个形变场,把点从规范空间(canonical space)映射到观测帧;它们大多靠 MLP,差别在于空间与时间信息怎么嵌入(原文 §2.1,p.2)。4DGaussians(Wu et al., 2024)走坐标条件化嵌入,做法类似 HexPlane 风格的特征,再配一个轻量 MLP 做形变估计。E-D3DGS(Bae et al., 2024)换成逐高斯嵌入(per-Gaussian embeddings),加多个体积场(volumetric fields)与一条由粗到细的策略来改善时间建模(原文 §2.1,p.2)。两家都住在规范形变场这条路里。

第二条走法是显式方法(explicit),直接参数化高斯的时变,绕开规范形变场(原文 §2.1,p.2)。多项式模型 STG(Li et al., 2024)用参数函数描述轨迹,插值模型 Ex4DGS(Lee et al., 2024)在关键帧之间插值出动态。原文对这两类的评价是,省掉规范形变场让优化简化了,可它们常难应付复杂运动(原文 §2.1,p.2)。作者对这条线的总判断写在 §2.1 末:这些方法在特定形变类型上做到了 SOTA,却缺乏跨多样动态场景的灵活性(原文 p.2)。这句判断与第 1 章的三层不一致是同一件事的两种说法,一个从实验看,一个从表示看。把两条路摆到一起,隐式那条把时间信息吃进网络,表达力强、代价是计算与显存;显式那条把时间写成参数函数,优化简单、代价是对复杂运动的适应性。四家在图 1 的图例后缀里留了记号,Hex. 与 Per. 属隐式,Inter. 与 Poly. 属显式(原文 §2.1,p.2;p.1 图注)。

第二块地基是 MoE 的来路,原文把它归入集成学习(ensemble learning):多个专家模型各自专精于不同的子任务,由一个门控网络(gating network)按输入实例动态挑出最相关的专家(原文 §2.2,p.2)。它之所以在大型深度模型里吃得开,靠的是引入稀疏性(Shazeer et al., 2017),实现条件计算(conditional computation),从而在不把计算量一起推高的前提下扩大容量(原文 §2.2,p.2)。原文点了几处成功案例:机器翻译上的大语言模型(Lepikhin et al., 2021;Fedus et al., 2022)、多任务学习(Ma et al., 2018)、人脸伪造检测(Kong et al., 2022)与异常检测(Meng et al., 2024)(原文 §2.2,p.3)。

两处动机的方向要摆在一起看。语言模型那条线上的 MoE 之所以要稀疏,图的是把算力省下来,让容量涨而计算量不跟着涨;MoE-GS 借来的是同一套「专家加门控」的形式,要的却是靠组合异构形变先验把画质顶上去,多出来的开销反过手来还得另配机制去摊薄(原文摘要 p.0;§1 p.1;§2.2 p.3)。同一个形式,两端的目标相反。方向上的一句话可以说得更白,语言模型那边用稀疏换算力,这一篇用额外的算力换画质(原文 §1,p.1;§2.2,p.2)。

接口处最要紧的一句写在 §2.2 末:原文说,受 MoE 动态整合专精模型的能力启发,他们把 MoE 用到动态高斯泼溅上,让专家选择成为一个可学习的过程;与既有做法整段视频静态地选一个模型不同,MoE-GS 按场景特征自适应地组合多位专家(原文 §2.2,p.3)。这句里的 learnable 是接口的关键词,专家选谁从写死的规则换成模型自己学出来的策略(原文 §2.2,p.3)。路由器具体长什么样,原文在这一节没有展开,取舍留到了方法章;这里能核到的是那条分界线,传统 MoE 只在特征空间里运作,本篇要在渲染出的 2D 图像上直接做专家的选择与混合(原文 §3.2,p.4)。原因也是这里埋下的:专家们各自处在互不一致的形变空间里,它们的高斯在 3D 上并不构成一一对应,没有一个共享的特征空间能照搬语言模型那套在特征上分词与路由的口径(原文附录 D.1,p.19)。要把它搬过来,得先回答「在哪个空间里定义权重」,这一步的答案在第 3 章的骨架与第 5 章的路由器里。

最后一条是配套:为压住 MoE 带来的额外开销,原文引入一条知识蒸馏(knowledge distillation)管线(Hinton et al., 2015;Xie et al., 2024),让单个专家以显著更低的计算量逼近 MoE 的性能(原文 §2.2,p.3)。蒸馏的损失怎么定、账面能拿回多少,落在第 7 章与第 9 章,这里只记它的来路。

两条前人线的落点都可回原文核对:三类形变表示的划分与各自擅长写在 §2.1(p.2),MoE 的来路与四处案例写在 §2.2(p.2–p.3),本篇「按场景特征自适应组合」的接口与其后的蒸馏管线同样在 §2.2 末(p.3)。

3框架总览:专家各训各的,路由器只认稳定的输出

第 2 章说清了 MoE 与形变表示这两块地基的来路,也留下了「在哪个空间里定义权重」这个问题;权重定义在哪一步留给第 5 章,先把骨架摆出来。

MoE-GS 的形状可以一句话描述,若干位异构的专家,加一个共享的体感知像素路由器(Volume-aware Pixel Router)。原文在方法章开篇给的口径是,这个框架紧跟经典 MoE 结构(原文原话是 closely follows the classic MoE structure)(原文 §3 开头,p.3),也就是第 4 章要摆的那两条加权与门控式子;与经典 MoE 不同的一点,是这里的每一位专家都换成了既有的动态高斯重建模型。

两阶段的分法写在图 3-1 的图注里。第一阶段(Stage 1,Expert Training)让每个专家独立训练,各自优化自己的高斯表示去重建动态场景,目的是保证建模能力多样;第二阶段(Stage 2,Router Training)在所有专家参数冻结的前提下,由体感知像素路由器去学动态混合各专家的渲染图,算出空间与时间自适应的门控权重(原文 p.3 图注)。图注右侧的 Candidate Experts 列了四类可纳入框架的高斯重建方法,HexPlane Embedding-based、Per-Gaussian embedding-based、Interpolation-based 与 Polynomial-based,各自适合抓不同的场景动态(原文 p.3 图注)。

MoE-GS 的两阶段框架:专家各自训练与路由器训练
图 3-1 E 类·证据 · 原文 Figure 2, p.3 · 原样引用 怎么读 ①指认:图分上半 Stage 1: Expert Training 与下半 Stage 2: Router Training 两块,左侧是三个形变先验互不相同的专家(4DGaussians/E-D3DGS/STG),中间是共享的体感知像素路由器,右侧输出融合后的渲染;Stage 2 上标注了专家参数被冻结。②读法(怎么读):图注原话是第一阶段让每个专家独立重建动态场景以保证建模能力多样、第二阶段在专家冻结的前提下让路由器学动态混合各专家的渲染图,得到空间与时间自适应的门控权重。 来源:MoE-GS: Mixture of Experts for Dynamic Gaussian Splatting(ICLR 2026 · arXiv:2510.19210v2)· 图 2 · 未修改引用(arXiv 非独占分发许可,非 CC)

为什么要拆成两段,原文在附录里给了两条理由。第一条是收敛快慢的失衡:把专家与路由器联合训练会得到次优收敛,因为收敛更快的专家倾向在早期就主导门控,其余专家因此利用不足、优化不足(原文附录 B.1,p.12)。落到梯度上,跑得快的那位在门控里越占越大,别的专家还没热身就已经被压住,拿不到有效的更新。第二条是路由器的学习目标要靠专家先稳定下来:两阶段的做法保证所有专家先被训到满负荷,路由器随后才去学怎么把它们的输出组合得最有效,它在第二阶段只专注于学混合策略,不必再受各专家收敛速率的影响(原文附录 B.3,p.13)。两条理由合起来,就是拆段的账。

第一阶段的训练口径在附录 B.2(p.12–p.13):每位专家保留其原工作的训练策略不改,因为超参本来就是按各自的架构与形变表示调好的;初始化一律用 COLMAP 生成的点云,其中 Ex4DGS 用运动恢复结构(Structure-from-Motion,SfM)得到的稀疏点云,4DGaussians 与 E-D3DGS 用这些稠密点云的下采样版,STG 按原策略合并所有帧的点云,得到一份全局一致的初始化;各专家还用各自原始的学习率表。让每位专家把整个场景独自重建出来,是它进入第二阶段的入场券(原文附录 B.1,p.12)。

第二阶段的三个可学部件是逐高斯参数 w_i、w_dir_i、w_time_i 与 MLP Φ(原文附录 B.3,p.13)。这里有一个调参提示值得记下:为避免引入任何手工的方向偏置或时间偏置,w_dir_i 与 w_time_i 用中性的近零常量初始化,让路由器自己从数据里学出方向与时间上的敏感性(原文附录 B.3,p.13)。路由器另用卷积 MLP 的架构去利用局部像素上下文,且这个 MLP 在所有专家之间共享,图的是计算效率;学习率上,共享 MLP 与 w_time_i 取 0.05,w_i 与 w_dir_i 取 0.5(原文附录 B.3,p.13)。

专家集合原文也固定了下来,为的是清晰与可复现:N=2 是 {Ex4DGS, STG},N=3 再加 E-D3DGS,N=4 再加 4DGaussians(原文 §4.1,p.7)。这套固定集合覆盖了多样的形变族,在所有实验中一致使用;原文另注明这是为清晰起见的选择,MoE-GS 本身对形变族并不敏感(deformation-agnostic)(原文 §4.1,p.7)。

把流程写成伪码之前,先把四条前提摆清楚,后面每一步都依赖它们。

前提 1:每位专家各自独立训练到能独立重建整个场景,训练时一律保留其原工作的方法与学习率表,初始化用 COLMAP 点云,其中 Ex4DGS 取 SfM 稀疏点云、4DGaussians 与 E-D3DGS 取稠密点云的下采样版、STG 合并所有帧点云(附录 B.1/B.2)。

前提 2:进入第二阶段前冻结全部专家参数,只优化逐高斯参数 w_i、w_dir_i、w_time_i 与共享 MLP Φ;拆成两段的目的是防「收敛快的专家早期独占门控」(附录 B.1/B.3)。

前提 3:w_dir_i 与 w_time_i 用中性的近零常量初始化,以免引入任何手工的方向或时间偏置;学习率上共享 MLP 与 w_time_i 取 0.05,w_i 与 w_dir_i 取 0.5(附录 B.3)。

前提 4:路由器用卷积 MLP,并在所有专家之间共享,为的是局部像素上下文带来的空间连贯与计算效率(附录 B.3)。

// 入口:一段动态场景的多视角视频;专家集合固定为 {Ex4DGS, STG, E-D3DGS, 4DGaussians} 的一个子集
// 第一阶段:专家各自独立训练(附录 B.2)
for k in 1 .. N:
 用 COLMAP 点云初始化专家 E_k // Ex4DGS 取 SfM 稀疏点云;4DGaussians 与 E-D3DGS 取稠密点云的下采样版;STG 合并所有帧点云
 E_k ← 按原工作的训练策略与原始学习率表训练,直到能独立重建整个场景
 冻结 E_k 的全部参数 // 附录 B.1

// 第二阶段:只训路由器(附录 B.3)
w_i, w_dir_i, w_time_i ← w_dir_i 与 w_time_i 用中性近零常量初始化
Φ ← 卷积 MLP,在所有专家之间共享
for iter in 1 .. 训练步数:
 对每个专家:复制其高斯,把颜色属性替换成可学的逐高斯权重 w_per_i,其余属性从预训练专家高斯复制
 把 w_per_i 经可微高斯光栅器泼溅成像素级权重 w_2D(u)、w_dir_2D(u)、w_time_2D(u)
 由轻量 MLP 以加性残差的方式细化像素级权重,得到每个专家在每个像素上的路由输出
 对路由输出做 softmax 得门控权重,按门控权重把各专家的渲染图融合成 MoE 图
 用 L1 与 SSIM 更新 w_i、w_dir_i、w_time_i 与 Φ

四处落点都能核:两阶段的划分与「防早期独占门控」的理由在 §3 开头(p.3)、图 3-1 的图注(p.3)与附录 B.1(p.12),第一阶段口径在附录 B.2(p.12–p.13),第二阶段的三个部件、近零初始化与两档学习率在附录 B.3(p.13),专家集合在 §4.1(p.7)。

4形式基础:MoE 的加权与门控,加上高斯泼溅的底色

第 3 章把骨架摆成「专家各训各的、路由器只认冻结后的输出」,也点出路由器要在像素上做选择;两块现成东西得先摆平,后面所有设计都在这几条式子上做手脚。

先看 MoE 那一半。标准 MoE 有 N 个并行的专家网络 E_1, E_2, …, E_N 与一个路由器(Router),它按输入把各专家的输出组合起来;给定输入 x,输出写成式 4-1(原文 (1),p.3)。

(1) MoE(x) = Σk=1N Gk(x) · Ek(x) (按门控权重把 N 位专家的输出加权求和)(原文式 1)

这条式对应原文的式 (1),写在 §3.1(p.3)。式里两个因子的分工要分清,E_k(x) 是第 k 位专家的输出,G_k(x) 是路由器为它算出的门控权重(gating weight);N 是专家的个数;求和从 k 等于 1 走到 k 等于 N,意思是 MoE 的输出把 N 位专家的输出按各自的门控权重加权求和。

门控权重本身是归一化的,写成式 4-2(原文 (2),p.3)。

(2) Gk(x) = Softmax( Rk(x) ) (行尾编号;把 N 个打分压成一组和为 1 的门控权重)(原文式 2)

这条式对应原文的式 (2),原文把它编在行尾。R_k(x) 是路由器对第 k 位专家给出的打分,Softmax 把 N 个打分压成一组和为 1 的门控权重。原文另给一句实现口径,路由器常实现为一个轻量的神经网络,例如一个线性层或一个 MLP(原文 §3.1,p.3)。

打分怎么来,由式 4-3 交代(原文 (3),p.4)。

(3) Rk(x) = xᵀ Wr,k (路由器的逐样本线性打分;Wr,k 是 Wr 的第 k 个列向量)(原文式 3)

这条式对应原文的式 (3),写在 §3.1 末(p.4)。R_k(x) 等于 x 的转置乘 W_r,k,W_r,k 是可训练权重矩阵 W_r 的第 k 个列向量。把符号摊开看,这是一次逐样本的线性映射,同一套 W_r 作用在每一个输入实例上,第 k 列给出第 k 位专家的打分;原文的结语是,这套结构让专家按输入特性做自适应混合,从而提升性能与灵活性(原文 §3.1,p.4)。到这一步,MoE 的三个基本动作摆齐了:专家打分、softmax 归一、按权重求和。

再看高斯泼溅那一半。原文在 §3.2 把 3DGS(Kerbl et al., 2023)的底座复述了一遍,场景被表示成一组高斯,每个高斯 G_i 由位置 µ_i、旋转 R_i 与缩放 S_i 参数化,它的 3D 定义与协方差写成式 4-4(原文 (4),p.5)。

(4) Gi = exp( −½ (x − µi)ᵀ Σi−1 (x − µi) ) , Σi = Ri Si Siᵀ Riᵀ (3D 高斯的定义与其协方差)(原文式 4)

这条式对应原文的式 (4),写在 §3.2(p.5)。G_i 是高斯 i 在空间查询点 x 处的取值,µ_i 是它的中心,Σ_i 是它的协方差;原文紧接着写了协方差的构造,Σ_i 等于 R_i S_i S_i 的转置再乘 R_i 的转置,也就是由旋转与缩放两个矩阵拼出来。三个符号各管一头,µ_i 给位置,R_i 给朝向,S_i 给各轴的尺度,三者一起定了这团高斯在 3D 里的形状与大小。

泼溅那一头写成式 4-5(原文 (5),p.5)。

(5) C = Σi∈N ci αi Πj=1i−1 ( 1 − αj ) , αi = σi Gi (像素色的 α 混合;连乘项即透射率)(原文式 5)

这条式对应原文的式 (5),写在 §3.2(p.5)。光栅化时,每个像素上重叠的多个高斯按深度排序,像素色 C 由各高斯的不透明度 σ_i 与颜色 c_i 组合出来。求和遍历该像素上参与排序的高斯集合 N,第 i 项是 c_i α_i 再乘上前 i−1 个高斯都没挡住它的概率,也就是 j 从 1 到 i−1 的 (1 − α_j) 连乘;而 α_i 由不透明度与高斯取值相乘给出,α_i 等于 σ_i G_i。这几个符号里,σ_i 与 α_i 都和不透明度有关,原文用 σ_i 表示高斯自带的那个不透明度、用 α_i 表示乘上取值之后的有效权重,读式时按这一层区分(原文 §3.2,p.5)。原文在这一节把 3DGS 的底座压成两步,用式 4-4 把高斯定义在 3D 里并给出它的协方差,再用式 4-5 在像平面上按深度序做 α 混合合成像素色(原文 §3.2,p.5)。

这里埋一个伏笔,式 4-5 里那个连乘项就是透射率(transmittance)的来源。第 6 章要讲的单遍多专家渲染把同一套混合写成一条跨专家的式子,那时这个连乘项得横跨所有专家的全部高斯(原文 (9),p.6)。名字先在这里记下,到那一章再展开。

原文另有一条取向要带:与只在特征空间里运作的传统 MoE 不同,本篇把专家的选择与混合直接放在渲染出的 2D 图像上做,为的是在复杂的时间与空间动态上拿到更好的灵活性与重建质量(原文 §3.2 开头,p.4)。这句是第 5 章路由器的出发点,也解释了为什么「在像素上融合」与「在 3D 里定义权重」会在同一套设计里同时出现。

五条式的符号收在下面这张表里。

表 4-1 式 4-1 至式 4-5 的符号释义 (原文 §3.1、§3.2, p.3–p.5 · 释义按原文文字层,逐项未改)

符号含义出处节号或附录号
x输入实例,即送入路由器的一个样本原文 §3.1, p.3
N(式 4-1 至 4-3)并行专家的个数原文 §3.1, p.3
E_k(x)第 k 位专家的输出原文 §3.1, p.3
G_k(x)路由器为第 k 位专家算出的门控权重,经 softmax 归一原文 §3.1, p.3
R_k(x)路由器对第 k 位专家的打分,是 softmax 的输入原文 §3.1, p.3–p.4
W_r路由器的可训练权重矩阵原文 §3.1, p.4
W_r,k权重矩阵 W_r 的第 k 个列向量原文 §3.1, p.4
G_i第 i 个 3D 高斯在空间查询点 x 处的取值原文 §3.2, p.5
µ_i第 i 个高斯的位置(中心)原文 §3.2, p.5
R_i第 i 个高斯的旋转原文 §3.2, p.5
S_i第 i 个高斯的缩放原文 §3.2, p.5
Σ_i第 i 个高斯的协方差,由 R_i 与 S_i 构出原文 §3.2, p.5
N(式 4-5)该像素上参与深度排序的高斯集合原文 §3.2, p.5
σ_i第 i 个高斯自带的不透明度原文 §3.2, p.5
α_i第 i 个高斯在该像素的有效权重,等于 σ_i 乘 G_i原文 §3.2, p.5
c_i第 i 个高斯的颜色原文 §3.2, p.5
C像素色,由该像素上深度排序后的高斯按 α 混合合成原文 §3.2, p.5

五条式的出处都可回原文核对:式 4-1 与式 4-2 是原文的式 (1)(2),落在 §3.1(p.3),式 4-3 是原文的式 (3),落在 §3.1 末(p.4),式 4-4 与式 4-5 是原文的式 (4)(5),落在 §3.2(p.5);「直接在渲染出的 2D 图像上做选择与混合」这一句写在 §3.2 开头(p.4),透射率一条在第 6 章的式 (9) 里兑现(p.6)。

5体感知像素路由器:把 3D 逐高斯权重泼溅进像素空间再融合

第 4 章把 MoE 的加权式(式 4-1)与高斯泼溅的混色式(式 4-5)摆平了,门控权重的落点没有现成答案,原文在 §3.2 用三种架构做了对照(原文 p.4)。

Pixel Router 把权重做在 2D 图像空间,特征由一个条件于时间与视角方向的 MLP 抽出(图 5-1 左上)。它训练稳,代价是 position、rotation、scale、opacity 都不进链路,原文的判语是它 lacks volumetric awareness、缺 3D 空间上下文,难以准确捕捉时间与视角相关变化,落到画面上是定量更差、结果过度平滑、抓不住锐利边界(原文 p.4、p.8)。Volume Router 把权重做在 3D,在光栅化前用门控权重调制每个高斯学到的 opacity(图 5-1 左下);几何保得住,细节保不住,细纹理区里频繁出现优化不稳与过平滑伪影,原因是门控权重处在固定的 3D 高斯域里,与最终的像素贡献只隔着一层间接而复杂的关系(原文 p.4、p.8)。

本文的 Volume-aware Pixel Router(图 5-1 右)把两头合起来,原文列的创新有三条:用可学的逐高斯权重做时间与视角相关编码;借高斯属性获得内在的体积感知;以光栅化为载体把权重泼溅进像素空间,使像素级混合由高斯级特征指导(原文 p.5)。

三种 MoE 路由架构的对照:2D 像素级、3D 体级与本文的体感知像素级
图 5-1 E 类·证据 · 原文 Figure 3, p.4 · 原样引用 怎么读 ①指认:左上为 Pixel Router,左下为 Volume Router,右侧为本文的 Volume-aware Pixel Router,图内另有 Pixel weight、Per-Gaussian weight、Volume-aware Representation、Softmax 等标签。②读法(怎么读):左上缺体积感知、左下难优化,右侧把两者接起来;画面是示意图,正文不读值,账见表 5-1。 来源:MoE-GS: Mixture of Experts for Dynamic Gaussian Splatting(ICLR 2026 · arXiv:2510.19210v2)· 图 3 · 未修改引用(arXiv 非独占分发许可,非 CC)

权重先在 3D 定下来:复制每个专家的高斯,把颜色属性换成可学权重,position、scale、rotation 直接从预训练专家高斯复制(附录 B.3,p.13),得到的逐高斯权重写进式 5-1。

(6) wperi = [ wi, wdiri, ( t · wtimei ) ]ᵀ (逐高斯权重:不透明度、方向、时间加权的轨迹)(原文式 6)

这条式对应原文的式 (6)。w_per_i 由三个标量拼成:w_i 管不透明度,w_dir_i 管视角方向,t 乘 w_time_i 是时间加权的轨迹,三者各自随视角方向与时间步 t 自适应(原文 p.5)。体积感知靠的正是那三件被复制的属性;只在像素上定权重,链路里就没有一项能区分同一像素上重叠的高斯各属于哪种形变先验。

体感知像素路由器的内部结构
图 5-2 E 类·证据 · 原文 Figure 6, p.13 · 原样引用 怎么读 ①指认:讲路由器怎么从 3D 的 w_per_i 走到像素端的最终权重,图内给出专家高斯被复制、颜色属性换成可学权重,以及 w_dir_2D、w_time_2D 与射线方向 r 进轻量 MLP、输出以残差方式加回 w_2D。②读法(怎么读):它是式 5-1 到式 5-2 的图版;画面是示意图,正文不读值。 来源:MoE-GS: Mixture of Experts for Dynamic Gaussian Splatting(ICLR 2026 · arXiv:2510.19210v2)· 图 6 · 未修改引用(arXiv 非独占分发许可,非 CC)

接着把权重投到像平面。w_per_i 经可微高斯光栅器投影,得到像素对齐的 w_2D(u)、w_dir_2D(u)、w_time_2D(u),聚合像素 u 上重叠高斯的贡献(原文 p.5),聚合可微,梯度能从像素端回到 3D 权重。像素端的细化写成式 5-2。

(7) R′(u) = w2D(u) + Φ( wdir2D(u), wtime2D(u), r(u) ) (像素级权重的加性残差细化;r(u) 是像素的视角方向)(原文式 7)

这条式对应原文的式 (7)。R′(u) 由两项相加:一项是泼溅出的 w_2D(u),一项是轻量 MLP Φ 以 w_dir_2D(u)、w_time_2D(u) 与像素的视角方向 r(u) 为输入算出的修正量,原文在 §3.2 与附录 B.3 都强调它以加性残差加回 w_2D(原文 p.5、p.13)。这样分工,w_2D 带住高斯的体积贡献,视角与时间的变化交给 MLP 补;若让 MLP 直接出像素级权重,那条从 3D 属性到像素贡献的对应关系就得从零学起。来路是受 STG 的 feature splatting 启发,本篇把它扩成 weight splatting,差别是 STG 细化颜色、本篇调节专家贡献(原文 p.5)。

R′(u) 过 softmax 得到 G′_k(u),再拿它加权各专家的渲染图(式 5-3)。

(8) IMoE(u) = Σk=1N G′k(u) IEk(u) , G′k(u) = Softmax( R′k(u) ) (多专家融合)(原文式 8)

这条式对应原文的式 (8)。I_MoE(u) 是像素 u 处 N 个专家渲染图 I_Ek(u) 的加权和,G′_k(u) 等于 Softmax(R′_k(u))(原文 p.5)。「空间与时间一致」在这里才有落点:空间上的连续来自聚合方式,G′_k(u) 的原料是同一批高斯泼溅出的 w_2D,3D 里相邻的高斯投到像平面也相邻;时间与视角上的连续来自显式编码,w_dir_i 与 w_time_i 把视角与时间步写进链路。原文把这份平衡归给 2D 混合表述带来的稳定训练,以及训练时用 3D 感知的权重泼溅把几何上下文注入路由过程(原文 p.8)。

三条路线的账在表 5-1。Pixel Router 是 31.12/0.952/0.022,Volume Router 是 32.05/0.951/0.022,本文是 33.23/0.954/0.021。一处叫法要交代:图 5-3 的中间一栏把这个变体写作 Per-Gaussian Router,表 5-1 同一行写作 Volume Router,两处 PSNR 同为 32.05,应是同一个变体;正文以表 5-1 的 Volume Router 为主名。

表 5-1 不同 MoE 路由器变体的性能对比 (原文 Table 4, p.8 · 数值取原文文字层,逐格未改)

ModelPSNR ↑SSIM ↑LPIPS ↓
Pixel Router31.120.9520.022
Volume Router32.050.9510.022
Volume-aware Pixel Router33.230.9540.021

定性那一侧的判语写在图 5-3 旁:Pixel Router 过平滑,Volume Router 细节保真不足,本文的路由器定量定性都稳定更优(原文 p.8)。

三种 MoE 路由变体的定性对照
图 5-3 E 类·证据 · 原文 Figure 5, p.9 · 原样引用 怎么读 ①指认:三栏依次标 Pixel Router、Per-Gaussian Router、Volume-aware Pixel Router,另有一栏 GT,三栏上分别写出 PSNR 31.12、32.05、33.23。②读法(怎么读):这三个读数是图内已写出的标注,可点名;画面是同一场景的对照网格,正文不从网格上读任何数,定量口径以表 5-1 为准。 来源:MoE-GS: Mixture of Experts for Dynamic Gaussian Splatting(ICLR 2026 · arXiv:2510.19210v2)· 图 5 · 未修改引用(arXiv 非独占分发许可,非 CC)

训练口径收一句:路由器只有 w_per_i 与 Φ 两组参数,优化用标准高斯泼溅的 L1 与 SSIM 损失;因各专家收敛速率不一致,专家先各自独立训好再冻结,随后只训路由部件(原文 p.5,细节见附录 B.1)。链路末端留一处伏笔:门控决策来自逐高斯的 3D 信号,权重又定义在光栅化之前,因此能按 responsibility 抬回高斯域做事后 3D 融合;以上这些连同 31.12/32.05/33.23 三个读数,都可以对回页码(原文 §3.2,p.4–p.5;§4.2,p.8;附录 B.3,p.13;附录 D;Table 4,p.8)。

6效率:单遍多专家渲染与门控感知剪枝

第 5 章把路由器的链路走完,多专家把画质抬上来,账单也跟着来。原文在 §3.3 开头把代价点成两处:重复的光栅化,以及大量低贡献高斯(原文 p.6)。

先算重复的账。基线管线里每个专家各自光栅化一遍,K 个专家就有 K 遍投影与 K 遍可见性计算,而不同专家的高斯大量重叠,这些计算有一部分在重复做同一件事(原文 p.6)。原文的解法是把所有专家的高斯合并成一个单批,给每个高斯一个 one-hot 的专家身份 e_j,在一个合成式里把专家特定的颜色算出来(式 6-1)。

(9) Ck(u) = Σj=1M Tj(u) αj(u) cj · (ej)k , Tj(u) = Πm=1j−1 ( 1 − αm(u) ) (单遍多专家渲染;M 是全部专家的高斯总数)(原文式 9)

这条式对应原文的式 (9)。C_k(u) 是专家 k 在像素 u 处的颜色,对 j 从 1 到 M 求和,M 是所有专家的高斯总数;每一项由 T_j(u)、α_j(u)、c_j 相乘,再乘上 (e_j)_k 把属于专家 k 的高斯选出来,其中 T_j(u) 是透射率,等于 m 从 1 到 j−1 的 (1 − α_m(u)) 连乘(原文 p.6)。透射率这一项在第 4 章露过面,式 4-5 的连乘项到这里换成跨专家版本。省下来的正是投影与可见性:原文说这两件事对全部高斯只算一遍,专家特定的输出推到 alpha blending 那一步才按 (e_j)_k 分开,冗余的 kernel launch 与内存遍历被消除,渲染公式没有改变(原文 p.6)。

再算高斯数量的账。独立训练出来的专家往往各放下一批互相重叠、贡献又很低的高斯,原文的判据是累积门控权重 G′_k 对逐高斯权重 w_per_i 的梯度,用它度量每个高斯对 MoE 图像的影响强度(式 6-2)。

(10) Ei = ( 1 / |D| ) Σv∈D | ∂G′k(v) / ∂wperi(v) | (门控感知剪枝的重要性;在训练视图集合 D 上取平均,低于 τ 的高斯被剪)(原文式 10)

这条式对应原文的式 (10)。E_i 在训练视图集合 D 上取平均,每一项是 ∂G′_k(v) 对 ∂w_per_i(v) 的绝对值,|D| 是参与统计的视图数;E_i 低于阈值 τ 的高斯被渐进剪除(原文 p.6)。原文的理由是梯度可忽略的高斯对门控权重的影响始终很小、对图像贡献极小;原文还与朴素按比例剪枝做了对照,后者会 destabilize optimization(原文 p.6)。阈值 τ 原文只给符号、没有给数值,要核的是它是否出现在图内小字或附录。

剪枝这一路有一条作者承认的限度:激进剪枝单靠不够。原文的措辞是随着专家数增加,高斯总数按比例增长,此时朴素丢弃大部分会 destabilize optimization,需要蒸馏策略来补(原文 p.6,接第 7 章)。单遍渲染为什么被选中,附录 B.4 写了两条被否掉的替代路。第一条是顺序执行专家再加 CPU offloading:重复的 PCIe 传输让这条路慢到不可用,高斯泼溅需要高频随机访问高斯属性(positions、scales 等),搬动缓冲会显著增加延迟,也做不成有效的 kernel fusion。第二条是把专家分布到多张 GPU:收益有限,每个专家处在异构且不可对齐的 3D 形变空间里,分布要复制各专家的高斯缓冲,还要跨设备同步逐像素累积,同步开销常盖过并行收益。附录 B.4 的结论是单遍渲染最稳定也最有效(附录 B.4,p.13–p.14)。

两种技术的定价在表 6-1。

表 6-1 N3V 上 N=2 专家变体的效率评估 (原文 Table 3, p.8 · 数值取原文文字层,逐格未改)

ModelPSNR ↑FPS ↑Memory ↓
STG† (Li et al., 2024)31.9288.5609.5
Ex4DGS (Lee et al., 2024)32.01120122.8
MoE-GS (N=2)32.8244878.7
MoE-GS (55% pruning)32.8083351.2
MoE-GS (75% pruning)32.45101281.3

把剪枝那一档的收益算出来。N=2 原样的三格是 32.82/44/878.7,剪掉 55% 之后是 32.80/83/351.2。帧率这一项,83 除以 44 得 1.886,约 1.89 倍;显存账这一项,351.2 除以 878.7 得 0.400,约原来四成;PSNR 这一项,32.82 减 32.80 得 0.02,只让 0.02 dB。这些倍数与差值是本站按表 6-1 现算的,原文没有给出任何倍数或差值。表里另有两个对照,STG† 是 31.92/88.5/609.5,Ex4DGS 是 32.01/120/122.8;N=2 的 PSNR 高于这两家单独专家,代价落在显存账上。

这张表有两处口径要声明。第一处是 PSNR 列与主表的关系:表 6-1 的标题说它评的是 N3V 上的 N=2 变体,可它的 STG† 是 31.92,与表 8-1 同行的平均 31.92 恰相等,而 Ex4DGS 的 32.01 对 32.10、MoE-GS (N=2) 的 32.82 对 32.54 都不等;这一列与主表是否同口径,原文没有交代。第二处是显存列:表 6-1 与表 6-2 的表头都只写 Memory 加向下的箭头,原文全文没有 MB 或 GB 字样,单位缺省;本篇按原值写,不补。

两项技术各自的贡献,消融表分得更细。

表 6-2 效率优化项的消融 (原文 Table 5, p.8 · 数值取原文文字层,逐格未改)

ModelPSNR ↑FPS ↑Memory ↓
w/o Single-Pass & Pruning32.5436747
w/o Single-Pass33.2340270
w/o Pruning32.5460747
MoE-GS (N=3)33.2368270

按表 6-2 拆账。两项都去掉是 32.54/36/747。只留剪枝的那一行是 33.23/40/270,PSNR 抬到 33.23、显存账降到 270;只留单遍渲染的那一行是 32.54/60/747,画质与显存账都不动,帧率抬到 60;完整模型是 33.23/68/270。这组拆账同样是本站现算的。有一处值得单记:w/o Single-Pass 那一行的 PSNR 与完整模型完全相同,都是 33.23,对应原文「单遍渲染不改变渲染公式」那句话。

前面反复用到的几个量,口径收在表 6-3。

表 6-3 效率相关量的口径 (原文 §3.3, p.6;附录 B.4, p.13–p.14 · 释义按原文文字层,逐项未改)

量含义方向口径
PSNR重建图像的峰值信噪比越高越好表头只写 PSNR ↑,未写 dB
FPSframes per second,渲染帧率越高越好表头只写 FPS ↑,未写分辨率
Memory显存占用越低越好表头只写 Memory ↓,原文未标单位,按原值写、不补单位
剪枝比例(55%/75%)按式 6-2 剪掉的高斯比例越高越省、代价越大55% 档 PSNR 只让 0.02 dB,75% 档让 0.37 dB
τ式 6-2 里判定剪除的阈值不适用原文只给符号、未给数值
M所有专家的高斯总数不适用式 6-1 求和的上界
T_j(u)透射率,m 从 1 到 j−1 的 (1 − α_m(u)) 连乘不适用式 4-5 连乘项的跨专家版本
e_j逐高斯的 one-hot 专家身份不适用式 6-1 里由 (e_j)_k 选出专家 k 的高斯
D训练视图集合,视图数记作 |D|不适用式 6-2 里取平均的集合

上面的账都对得上页码:重复投影与可见性由式 6-1 单批合成消掉,低贡献高斯由式 6-2 的重要性判据剪掉,两条替代路各自被 PCIe 传输与跨设备同步否掉;N=2 原样 32.82/44/878.7、剪 55% 后 32.80/83/351.2,帧率约 1.89 倍、显存账约四成、PSNR 让 0.02 dB(原文 §3.3,p.6;附录 B.4,p.13–p.14;Table 3 与 Table 5,p.8)。

7蒸馏:把 MoE 的性能搬回单个专家

第 6 章末尾那条让步把这一章引出来:专家数一多,高斯总数按比例增长,光靠剪枝压不住,需要一个把 MoE 的收益搬回单个专家的办法。原文走的是知识蒸馏(Hinton et al., 2015;Xie et al., 2024),每个专家 E_k 从零训练,监督来自真值图像与 MoE 输出两路(原文 §3.4,p.6)。

监督分两路这件事是整套设计的核心。真值这一路的麻烦在于,MoE 之所以比单个专家强,靠的是在场景的不同时空区域挑不同的专家,某个专家只在自己擅长的区域可靠;若拿真值对整个画面一致施压,等于要求这个专家在所有区域都做到 MoE 的水平。MoE 输出这一路补的正是这个缺口,原文把 MoE 渲染出的图 I_MoE 当作伪真值、把路由权重 G′_k 当作置信分数,两块合起来送进损失,写成式 7-1。

(11) LKDk = λ · L( G′k · IEk, G′k · IGT ) + ( 1 − λ ) · L( (1 − G′k) · IEk, (1 − G′k) · IMoE ) (蒸馏损失;L 由 L1 与 SSIM 组合)(原文式 11)

这条式对应原文的式 (11)。L_KD_k 分两项,前一项是 λ 乘上「用 G′_k 加权的专家渲染」对「同一组 G′_k 加权的真值」的损失,后一项是 (1 − λ) 乘上「用 (1 − G′_k) 加权的专家渲染」对「同一组 (1 − G′_k) 加权的 MoE 渲染」的损失;L 是 L1 与 SSIM 的组合,λ 平衡真值监督与 MoE 监督的份量(原文 p.6)。

两项都乘同一组门控权重,这句话决定了压力落在哪里。前一项里 G′_k 高的像素上乘出来的权重也高,损失主要压在这一批像素上,G′_k 接近零的像素被门控权重压下去、几乎不参与;后一项反过来,起作用的像素是 G′_k 低的那一批,监督目标换成 MoE 的渲染结果。把两项合起来看,每个专家被推着在自己真正负责的像素上对齐真值,在其余的像素上向 MoE 的输出看齐;换个说法,损失只在这个专家该管的那些区域上施压,别处的偏差既不按真值追究,也不按 MoE 追究。原文对这条损失的表述是鼓励每个专家在被真值可靠的区域上专精,同时在不确定区域利用 MoE 输出(原文 p.6)。这样训出来的专家各自接下了 MoE 在该区域的那份判断,单个专家因此得以逼近完整 MoE 的表现。

两路的角色在原文里有明确分工:真值那条负责定住它有把握的区域,MoE 那条负责补上真值管不到的区域。把它叫置信分数,含义也在这里:它衡量的是这个专家在该像素上有多可信,用一个连续刻度表示,并不给出分类结果;刻度高的地方按真值算,刻度低的地方改按 MoE 的渲染算,中间地带由两项的权重自然过渡。这也解释了为什么两项共用同一组门控权重:只有这样两个方向才恰好互补,一个像素不会被真值与 MoE 同时强力拉扯。

部署时不必改架构,原因在这条损失只出现在训练里。它改的是监督信号的来源与加权方式,专家本身的网络结构、高斯表示与渲染管线一概不动;训完之后直接拿单个专家跑推理,不必再带上路由器和其余的专家,也不需要一套专门的稀疏执行逻辑。原文的说法是单个专家以显著更低的复杂度逼近完整 MoE-GS 的性能,从而支持高效实时部署(原文 p.6)。从交付角度看这一步的账最直接:完整 MoE-GS 推理时要跑 N 个专家再加一个路由器,专家数越大这份开销越重,蒸馏之后交付的只有一个专家模型,参数量、高斯数与渲染次数都回到单专家的量级,路由器和其余专家不再随模型走。原文把它写成 without modifying its architecture,含义是不必为部署另加一套稀疏执行逻辑,专家仍按它本来的方式光栅化与渲染(原文 p.6)。

两处口径要交代清楚。第一处是 λ 的数值,原文在 §3.4 与附录 G 里都只写符号 λ,没有给出取值,本篇不替它填数,要补的话需要回 PDF 全文连同图内小字再搜一遍。第二处是这条路与第 6 章那条路的分工,原文明确说单遍渲染与剪枝在专家数小(如 N=2 或 N=3)时特别有效,蒸馏的收益则在专家数增加(如 N=4 或更多)时更明显,因为那时直接跑完整 MoE 的计算开销很大(原文 p.0、p.2);两条路的收益区间不同,各自管一段。原文还交代了剪枝与蒸馏的依赖关系,§3.3 末尾说激进剪枝单靠不够、要配合蒸馏,把不稳的那部分交给蒸馏补回来(原文 p.6)。

机制这一层到此为止,实际涨多少落在第 9 章的表 9-2,路由权重加与不加差多少落在第 12 章的表 12-2,本章不抄表。蒸馏损失的两项与加权方式、以及它不改架构这一条,都可以对回原文(原文 §3.4,p.6;式 (11);附录 G,p.22)。

8主结果:两套数据集上的账

第 7 章把蒸馏的机制交代完,这一章回到主账。评测用两个动态场景重建的标准基准,N3V(Li et al., 2022)与 Technicolor(Sabater et al., 2017);per-Gaussian 权重用 RAdam(Liu et al., 2019)优化,学习率 0.5;实验在 NVIDIA A6000 上跑(原文 §4.1,p.7)。专家配置沿用第 3 章那套固定集合,N=2 用 Ex4DGS 与 STG 两位专家,N=3 加 E-D3DGS,N=4 再加 4DGaussians,全部实验一致(原文 p.7)。

两套数据集的规模用场景数记:N3V 六个场景,依次是 Coffee Martini、Cook Spinach、Cut Roasted Beef、Flame Salmon、Flame Steak、Sear Steak;Technicolor 五个场景,依次是 Birthday、Fabien、Painter、Theater、Train。原文只交代了带 † 的那些行是在切成 150 帧的数据划分上训练(表注原话),两个数据集各自的完整帧数与视角数原文未给,要核的是这两项。落到表上是六个场景列加一列 Average 与五个场景列加一列 Average,原文表头里场景名分两行排,本表按语义合写成单个列名。

对手分两类。一类是专家池里的四种高斯方法,按形变族写是 embedding-based 的 4DGaussians 与 E-D3DGS、interpolation-based 的 Ex4DGS、polynomial-based 的 STG(原文 p.7)。另一类是代表性的 NeRF 类基线,N3V 表里有 HyperReel、K-Planes、MixVoxels-L、3DGStream、DASS、SaRO-GS、SwinGS,Technicolor 表里有 DyNeRF 与 HyperReel,本篇按表体列出,不替它们加原文没写的评语。

N3V 的账在表 8-1。

表 8-1 N3V 数据集上的性能对比 (原文 Table 1, p.7 · 数值取原文文字层,逐格未改)

ModelPSNR (dB) ↑ Coffee MartiniPSNR (dB) ↑ Cook SpinachPSNR (dB) ↑ Cut Roasted BeefPSNR (dB) ↑ Flame SalmonPSNR (dB) ↑ Flame SteakPSNR (dB) ↑ Sear SteakPSNR (dB) ↑ Average
HyperReel (Attal et al., 2023)28.3732.3032.9228.2632.2032.5731.10
K-Planes (Fridovich-Keil et al., 2023)29.9932.6031.8230.4432.3832.5231.63
MixVoxels-L (Wang et al., 2023)29.6332.2532.4029.8131.8332.1031.34
3DGStream (Sun et al., 2024)27.7533.3133.2128.4234.3033.0131.67
DASS (Liu et al., 2024)28.1533.8333.5428.8434.2633.3331.99
SaRO-GS (Yan et al., 2024)28.9633.1933.9129.1433.8333.8932.15
SwinGS (Liu & Banerjee, 2024)27.9933.6634.0328.2432.9433.3231.69
4DGaussians (Wu et al., 2024)29.0932.7833.1529.7631.8132.0131.43
E-D3DGS (Bae et al., 2024)30.0433.1133.8530.4932.7733.7032.33
STG† (Li et al., 2024)28.1633.0934.1529.0933.2533.7731.92
Ex4DGS (Lee et al., 2024)28.7233.2433.7329.3333.9133.6932.10
MoE-GS (N=2)30.2733.4334.0530.6632.9233.9032.54
MoE-GS (N=3)30.2733.8634.9030.9234.5234.8833.23
MoE-GS (N=4)30.4334.2435.2030.9234.3834.4233.27

按 Average 一列,最强基线是 E-D3DGS 的 32.33,其余基线从高到低是 SaRO-GS 32.15、Ex4DGS 32.10、DASS 31.99、STG† 31.92、SwinGS 31.69、3DGStream 31.67、K-Planes 31.63、4DGaussians 31.43、MixVoxels-L 31.34、HyperReel 31.10;本文三档是 MoE-GS (N=2) 的 32.54、N=3 的 33.23、N=4 的 33.27。逐场景比一遍,本文三档里最高的那一档在每个场景上都超过该栏最强的基线:Coffee Martini 是 30.43 对 E-D3DGS 的 30.04,Cook Spinach 是 34.24 对 DASS 的 33.83,Cut Roasted Beef 是 35.20 对 STG† 的 34.15,Flame Salmon 是 30.92 对 E-D3DGS 的 30.49,Flame Steak 是 34.52 对 3DGStream 的 34.30,Sear Steak 是 34.88 对 SaRO-GS 的 33.89;其中 Flame Steak 与 Sear Steak 两栏是 N=3 拿到的,N=2 在 Flame Steak 上的 32.92 低于 3DGStream 的 34.30。这一组逐场景的对照是本站按表 8-1 逐格读出来的,原文对应的表述是本文在两套数据集上拿到最优平均、且在各个场景上持续优于多数基线。

Technicolor 的账在表 8-2。

表 8-2 Technicolor 数据集上的对比结果 (原文 Table 2, p.7 · 数值取原文文字层,逐格未改)

ModelPSNR (dB) ↑ BirthdayPSNR (dB) ↑ FabienPSNR (dB) ↑ PainterPSNR (dB) ↑ TheaterPSNR (dB) ↑ TrainPSNR (dB) ↑ Average
DyNeRF (Li et al., 2022)29.2032.7635.9529.5331.5831.80
HyperReel (Attal et al., 2023)29.9934.7035.9133.3229.7432.73
4DGaussians (Wu et al., 2024)30.8733.5634.3629.8125.3530.79
STG (Li et al., 2024)32.1635.7037.1831.0032.3933.69
E-D3DGS (Bae et al., 2024)32.3834.2436.2031.1031.3733.06
Ex4DGS (Lee et al., 2024)32.3535.1836.6031.7731.3733.45
MoE-GS (N=3)33.2636.2637.6332.8832.8934.55

Technicolor 的 Average 一列,最强基线是 STG 的 33.69,其后是 Ex4DGS 33.45、E-D3DGS 33.06、HyperReel 32.73、DyNeRF 31.80、4DGaussians 30.79;本文 MoE-GS (N=3) 是 34.55。逐场景看,Birthday 是 33.26 对 E-D3DGS 的 32.38,Fabien 是 36.26 对 STG 的 35.70,Painter 是 37.63 对 STG 的 37.18,Train 是 32.89 对 STG 的 32.39;Theater 一栏则是另一回事,本文的 32.88 低于 HyperReel 的 33.32,这也是本站逐格读出来的。另外要标一处待核:表 8-2 里 MoE-GS (N=3) 这一行的 Average 写 34.55,而它五个场景值 33.26/36.26/37.63/32.88/32.89 的均值是 34.584,同一配置在附录的表 10-2 里写 34.58,要核的是这一格属于印误还是取数问题,本篇按表 8-2 原值写 34.55 并在此声明。

两处口径要先声明。第一处是 †,表 8-1 里 STG 那一行带 †,表注原话写明它表示模型在切成 150 帧的数据划分上训练,与其余各行不完全同口径,跨行比较前先说清这一点(原文 Table 1 表注,p.7)。第二处是本文的三档配置,N=2 只用 Ex4DGS 与 STG 两位专家,N=3 加 E-D3DGS,N=4 再加 4DGaussians,三档的专家集合逐级包含,读数因此不能当成同一模型的三个随机种子(原文 p.7)。

定性那一侧由图 8-1 给。原文图注写明图里摆的是路由器预测的 gating weights、各专家单独的渲染、以及由它们组合出的 MoE-GS 图,并说明黑底高亮的是每个区域里基线中视觉最准确的那一个;原文据此的结论是这些专家贡献与路由预测吻合得很紧,说明 MoE-GS 确实在做空间自适应的混合(原文 p.8)。这一条与表 8-1、表 8-2 上的平均读数是一体的两面,一头说权重落得对,一头说加权之后的数更好。

N3V 上 Cook_Spinach 的定性对比
图 8-1 E 类·证据 · 原文 Figure 4, p.8 · 原样引用 怎么读 ①指认:场景为 Cook_Spinach,图内标签有 MoE-GS、Ground Truth、Ex4DGS、4DGaussians、STG、E-D3DGS;原文图注写明黑底高亮的是每个区域里基线中视觉最准确的那一个,另展示路由器预测的 gating weights 与各专家的输出。②读法(怎么读):它给的是专家贡献与路由预测是否吻合这条定性证据,画面是四家对比的网格,正文不从网格上读值,账面读数见表 8-1 与表 8-2。 来源:MoE-GS: Mixture of Experts for Dynamic Gaussian Splatting(ICLR 2026 · arXiv:2510.19210v2)· 图 4 · 未修改引用(arXiv 非独占分发许可,非 CC)

两处跨表读数要如实并列,都是本站逐格核出来的。第一处发生在表 8-1 与第 10 章的表 10-1 之间,同一配置 MoE-GS (N=4) 在 Cut Roasted Beef 上,表 8-1 写 35.20,表 10-1 写 35.08,两表其余 29 格一致;按表 8-1 的 Average 反推,六场景均值 33.265 支持 35.20,换成 35.08 会掉到 33.245。第二处发生在表 8-1 与表 6-1 之间,Ex4DGS 在表 8-1 的 Average 是 32.10、在表 6-1 是 32.01,MoE-GS (N=2) 在表 8-1 是 32.54、在表 6-1 是 32.82,只有 STG† 的 31.92 两表一致;表 6-1 那一列 PSNR 与主表是同口径还是另一套测量,原文没有交代。本篇引用主结果时一律取表 8-1 与表 8-2 的值,并在此声明。

差值自己算。以表 8-1 的 Average 列为准,N3V 上最强基线是 E-D3DGS 的 32.33:MoE-GS (N=2) 的 32.54 减 32.33 得 0.21 dB,N=3 的 33.23 减 32.33 得 0.90 dB,N=4 的 33.27 减 32.33 得 0.94 dB;N=4 相对 N=3 的 33.27 减 33.23 只得 0.04 dB,多一位专家换来的增益落在百分位。以表 8-2 的 Average 列为准,Technicolor 上最强基线是 STG 的 33.69,MoE-GS (N=3) 的 34.55 减 33.69 得 0.86 dB。这几组差值是本站按两表的 Average 列现算的,原文没有给出任何相对差值。

把主结果与效率账合起来看,画质这一头 MoE-GS 在两套数据集上都拿到最好的平均,N3V 是 33.23(N=3)与 33.27(N=4),Technicolor 是 34.55(N=3);代价落在显存上,表 6-1 里 N=2 那一档的 878.7 对 Ex4DGS 的 122.8,画质却是 32.82 对 32.01。两条路各自把代价压到一个位置:框架内的单遍渲染与门控感知剪枝把渲染成本与显存账压回去,剪 55% 之后帧率约 1.89 倍、显存账约四成而 PSNR 只让 0.02 dB;框架外的蒸馏把成本从要带几个专家改成只带一个专家,让单个专家逼近 MoE 的画质且部署时不必改架构(原文 §4.2,p.7–p.8;Table 1 与 Table 2,p.7;Table 3 与 Table 5,p.8)。

9训练预算与蒸馏的消融

第 8 章把两套数据集上的总账摊开,MoE-GS 在 N3V 与 Technicolor 上都拿到最好的平均 PSNR。账面之外还有两笔要单独问的账:N 位专家各自都要训练,这笔训练时间到底要花多少;蒸馏把 MoE 的判断搬回单个专家之后,单专家能涨多少。这两笔在原文里分属两处,一处排在 §4.2 末尾的小节 Analysis of training Cost(p.9),另一处是 §4.3 DISTILLATION-BASED EXPERT TRAINING(p.9)。

先把预算轴的口径说清楚。原文写明用 N 位专家原则上有把训练时间乘 N 倍的风险,但实验发现 MoE-GS 在专家预算大幅缩减时依然有效;100% 对应每一位专家的完整训练时间,原文给出的三个参照值是 E-D3DGS 约 4.2 小时、STG 约 2.2 小时、4DGaussians 约 1.5 小时,50%/20%/10% 是按墙钟时间成比例缩减,所以这根预算轴直接反映每位专家实际的训练时间(原文 §4.2 末,p.9)。归属上要分清一件事:这一组实验与它下面的表 9-1 排在 §4.2 末尾的 Analysis of training Cost 小节里,不属于 §4.3;§4.3 收的是蒸馏那一笔账。

表 9-1 专家训练预算对 MoE-GS (N=3) 的影响 (原文 Table 6, p.9 · 数值取原文文字层,逐格未改)

Model100%50%20%10%
E-D3DGS (Bae et al., 2024)32.3332.1931.8730.60
STG (Li et al., 2024)31.9231.7631.4131.19
4DGaussians (Wu et al., 2024)31.4331.0230.9030.64
MoE-GS (N=3)33.2332.7132.6032.14

表 9-1 的表头只有 Model 加 100%/50%/20%/10% 四个预算档,原文没有写出这四个数字量的是哪个指标;这一列在正文里点明为 PSNR(原文 §4.2 末,p.9 的 Table 6,表注只写 Effect of expert training budget on MoE-GS (N=3))。读数按档位往下走:满额一列 E-D3DGS 是 32.33、STG 是 31.92、4DGaussians 是 31.43,MoE-GS (N=3) 是 33.23。原文给出的结论只落在 20% 这一档,说的是每位专家只用 20% 预算时(把 4.2 小时的专家压到约 50 分钟、1.5 小时的压到 20 分钟以内),MoE-GS 仍超过完全训练的单专家基线(原文 §4.2 末,p.9)。按表核这句,20% 档 MoE-GS 是 32.60,确实高于满额 E-D3DGS 的 32.33、STG 的 31.92 与 4DGaussians 的 31.43。

再往下一档,原文没有再作说明,账目本身已经把结果写在那里。10% 档 MoE-GS 是 32.14,低于满额 E-D3DGS 的 32.33,只仍高于满额 STG 的 31.92 与 4DGaussians 的 31.43。原文只把 20% 档说成仍胜基线,10% 这一档的落差照读数并列在此,不替作者扩述。本站按表 9-1 复算 100% 降到 10% 的 PSNR 损失:E-D3DGS 从 32.33 落到 30.60,差 1.73;STG 从 31.92 落到 31.19,差 0.73;4DGaussians 从 31.43 落到 30.64,差 0.79;MoE-GS (N=3) 从 33.23 落到 32.14,差 1.09。四行的损失里 MoE-GS 的 1.09 排在第二位,最大的一笔落在 E-D3DGS 的 1.73 上。原文另有两句要一并带上:MoE-GS 不依赖完全收敛的专家,实际训练开销远低于随专家数线性增长(原文 §4.2 末,p.9)。

与训练预算配套的还有路由器自己那笔开销。原文写路由器本身轻量,相对专家训练增加的计算不到 5%,这部分附加成本可忽略(原文 §4.2 末,p.9)。把这句与第 8 章的表 8-1 摆在一起看,N 从 2 涨到 4 时专家的数量在涨,而路由器的开销没有跟着涨,这也是原文敢用「远低于线性」来描述整体训练开销的依据。

第二笔账在 §4.3。原文比较的是从零重训练的专家与蒸馏版专家,两者设置相同,差别只在监督来源:蒸馏版的监督来自 MoE 生成的图像与路由权重(原文 §4.3,p.9)。蒸馏这条管线怎么搭写在 §3.4,此处只看它蒸出来多少。

表 9-2 Technicolor 上 MoE-GS 蒸馏方法的消融 (原文 Table 7, p.9 · 数值取原文文字层,逐格未改)

ModelPSNR ↑SSIM ↑LPIPS ↓
E-D3DGS (Bae et al., 2024)32.880.9020.111
E-D3DGS (Bae et al., 2024) (Distilled)33.670.9150.091
STG (Li et al., 2024)32.830.9150.083
STG (Li et al., 2024) (Distilled)33.100.9170.082
Ex4DGS (Lee et al., 2024)33.570.9180.086
Ex4DGS (Lee et al., 2024) (Distilled)33.910.9230.079

表 9-2 三对读数是 E-D3DGS 从 32.88/0.902/0.111 到蒸馏后的 33.67/0.915/0.091,STG 从 32.83/0.915/0.083 到 33.10/0.917/0.082,Ex4DGS 从 33.57/0.918/0.086 到 33.91/0.923/0.079。原文的结论是三类专家的 PSNR、SSIM、LPIPS 一致提升,说明 MoE 引导的监督有效;并说专家数变大时,对每个专家施加蒸馏仍是拿到显著增益的有效方式(原文 §4.3,p.9)。本站按表 9-2 复算 PSNR 的增益:E-D3DGS 加 0.79、STG 加 0.27、Ex4DGS 加 0.34,涨幅最大的一笔落在 E-D3DGS 上。

这张表另有一处跨表实读发现要与第 12 章接上。表 12-2(原文 Table 13,p.22)把同一组蒸馏读数按 Routing Weight (Ours) 等三行排出,其中 E-D3DGS 蒸馏后的 SSIM 在表 9-2 写 0.915、在表 12-2 写 0.918,而 PSNR 33.67 与 LPIPS 0.091 两格一致。两处引用时要说清用的是哪一张表的值,第 12 章会把这条并入边界。

Technicolor 上蒸馏前后各专家的定性对照
图 9-1 E 类·证据 · 原文 Figure 9, p.18 · 原样引用 怎么读 ①指认:图里的对照分三组,分别对应 Ex4DGS、E-D3DGS、STG 三位专家,每组把 GT 与原版、Distilled 两列并排,场景标签取自 Technicolor 的 Fabien/Painter/Birthday/Theater。②读法(怎么读):这是画面对照网格,画面本身不可文本核对;图注原话是重训练版与蒸馏版专家的视觉对照,哪一版更好的定量结论由表 9-2 的六行给出,不从图上任何一格读数。 来源:MoE-GS: Mixture of Experts for Dynamic Gaussian Splatting(ICLR 2026 · arXiv:2510.19210v2)· 图 9 · 未修改引用(arXiv 非独占分发许可,非 CC)

这张图是同一批读数的画面侧旁证,三组各自把原版与 Distilled 并排,读它要连着表 9-2 的六行看。附录 G 里那套逐像素加权的蒸馏策略,其表体在本篇落为第 12 章的表 12-2,本章只提它的存在与目的(考察逐像素加权是否改善 MoE 判断向单专家的转移),不复述表体。训练预算那一笔账的出处是 §4.2 末尾 Analysis of training Cost 小节的 Table 6(p.9),蒸馏那一笔账的出处是 §4.3 的 Table 7(p.9),画面侧旁证是 Figure 9(p.18)。

10补充定量结果(附录 C.1)

第 9 章把训练预算与蒸馏两笔支账结清,正表之外的逐场景、逐指标读数还留在附录 C.1(p.14–p.16)。这一批共四张表,定位各不相同:表 8 与表 9 分别在 N3V 与 Technicolor 上给出专家与 MoE-GS 的逐场景定量,表 10 把同一套方法搬到单目的 HyperNeRF 上,表 11 是蒸馏策略的逐场景消融(原文附录 C.1,p.14)。

表 10-1 补充定量 · N3V 上的专家与 MoE-GS (原文 Table 8, p.14 · 数值取原文文字层,逐格未改)

ModelCoffee Martini PSNRCoffee Martini SSIMCoffee Martini LPIPSCook Spinach PSNRCook Spinach SSIMCook Spinach LPIPSCut Roasted Beef PSNRCut Roasted Beef SSIMCut Roasted Beef LPIPSFlame Salmon PSNRFlame Salmon SSIMFlame Salmon LPIPSFlame Steak PSNRFlame Steak SSIMFlame Steak LPIPSSear Steak PSNRSear Steak SSIMSear Steak LPIPS
4DGaussians (Wu et al., 2024)29.090.9230.06632.780.9550.04133.150.9540.04829.760.9280.06231.810.9620.03232.010.9640.032
E-D3DGS (Bae et al., 2024)30.040.9300.05833.110.9610.04133.850.9580.04230.490.9360.05432.770.9600.03733.700.9640.033
STG† (Li et al., 2024)28.160.9270.06133.090.9610.03334.150.9640.03229.090.9280.05733.250.9680.02633.770.9690.026
Ex4DGS (Lee et al., 2024)28.720.9180.07033.240.9560.04233.730.9580.04029.330.9250.06633.910.9630.03433.690.9600.035
MoE-GS (N=4)30.430.9400.05434.240.9660.03135.080.9680.03030.920.9420.04934.380.9720.02634.420.9720.026

表 10-1 用四位专家的配置,原文的说法是 MoE-GS 在所有场景与指标上一致优于单专家,说明泛化强(原文 C.1,p.14)。这张表在版面上是上下两块排版,上块罩 Coffee Martini/Cook Spinach/Cut Roasted Beef,下块罩 Flame Salmon/Flame Steak/Sear Steak,每块里每个场景再罩 PSNR/SSIM/LPIPS 三列,取值时已按六个场景合成完整一张。真正要用的读数集中在 MoE-GS (N=4) 那一行:Coffee Martini 是 30.43/0.940/0.054,Cook Spinach 是 34.24/0.966/0.031,Flame Salmon 是 30.92/0.942/0.049,Flame Steak 是 34.38/0.972/0.026,Sear Steak 是 34.42/0.972/0.026。

这张表与第 8 章的主表 8-1 有一格对不上。MoE-GS (N=4) 在 Cut Roasted Beef 上的 PSNR,表 8-1 写 35.20,表 10-1 写 35.08,除这一格外其余 29 格逐格一致。本站按六场景平均反推过一遍:用 35.20 算出的 MoE-GS (N=4) 六场景均值是 33.265,与表 8-1 的 Average 33.27 相符;换成 35.08 会掉到 33.245。两个 35 之间差 0.12,是实质分歧,引用前必须先声明用的是哪一张表的值(原文 Table 1, p.7 与 Table 8, p.14)。这条并入第 12 章的边界。

表 10-2 补充定量 · Technicolor 上的专家与 MoE-GS (原文 Table 9, p.15 · 数值取原文文字层,逐格未改)

ModelBirthday PSNRBirthday SSIMBirthday LPIPSFabien PSNRFabien SSIMFabien LPIPSPainter PSNRPainter SSIMPainter LPIPS
DyNeRF (Li et al., 2022)29.20N/A0.06732.76N/A0.24235.95N/A0.146
HyperReel (Attal et al., 2023)29.990.9220.05334.700.8950.18635.910.9230.117
4DGaussians (Wu et al., 2024)30.870.9040.08733.560.8540.18634.360.8840.136
STG (Li et al., 2024)31.900.9400.04435.700.9040.11437.070.9280.093
Ex4DGS (Lee et al., 2024)32.360.9410.04535.190.8960.12436.660.9320.091
MoE-GS (N=3)33.260.9470.04936.260.9080.12137.630.9390.083

表 10-2 换成三位专家的配置(E-D3DGS、STG、Ex4DGS),原文说专家数更少也维持强表现、在多数场景上拿到最好或接近最好,并在所有评测指标上取得最高总平均(原文 C.1,p.15)。MoE-GS (N=3) 的逐场景读数是 Birthday 33.26/0.947/0.049、Fabien 36.26/0.908/0.121、Painter 37.63/0.939/0.083。这张表另有两处实读发现。一处是与第 8 章的主表 8-2 对不上:STG 的 Birthday,表 8-2 写 32.16、表 10-2 写 31.90;STG 的 Painter,表 8-2 写 37.18、表 10-2 写 37.07;Ex4DGS 三格全不同,Birthday 是 32.35 对 32.36、Fabien 是 35.18 对 35.19、Painter 是 36.60 对 36.66。表 10-2 的 STG 行没有 †,表 8-1 与表 10-1 的 STG 才带 †;Ex4DGS 在两张表里都无标记,它的三格仍各不相同,说明这处不一致与标记无关。另一处是 DyNeRF 那一行的 SSIM 三格,原文写的是 N/A,照原样保留,不换算、不补值(原文 Table 9, p.15)。

N3V 上 MoE-GS 与各动态高斯泼溅方法的更多定性对照
图 10-1 E 类·证据 · 原文 Figure 7, p.16 · 原样引用 怎么读 ①指认:两栏分别是 Coffee_Martini 与 Flame_Salmon,每栏内并排 MoE-GS、Ground Truth、4DGaussians、Ex4DGS、E-D3DGS、STG 六行。②读法(怎么读):这是画面对照网格,画面本身不可文本核对,正文只引原文写出的结论,即 MoE-GS 有效地把场景区域路由给最合适的专家、结果高保真并优于单模型,不从图上任何一格读数。 来源:MoE-GS: Mixture of Experts for Dynamic Gaussian Splatting(ICLR 2026 · arXiv:2510.19210v2)· 图 7 · 未修改引用(arXiv 非独占分发许可,非 CC)

图 10-1 给的是 N3V 侧的更多定性,原文把它与表 10-1 摆在同一节里,一句话概括是 MoE-GS 有效地把场景区域路由给最合适的专家,重建结果优于单模型(原文 C.2,p.16)。这张图里出现的单专家与表 10-1 是同一组对手,所以它可以当作表 10-1 那张宽表的画面侧对照。

Technicolor 上 MoE-GS 与各动态高斯泼溅方法的定性对照
图 10-2 E 类·证据 · 原文 Figure 8, p.17 · 原样引用 怎么读 ①指认:三栏分别是 Painter、Theater 与 Fabien,每栏内并排 GT、STG、Ex4DGS、E-D3DGS 与 MoE-GS 五行。②读法(怎么读):与图 10-1 同构的另一套数据集对照,画面本身不可文本核对,正文只引原文写出的结论,即 MoE-GS 的视觉对比结果优于其他动态高斯泼溅方法,不从图上任何一格读数。 来源:MoE-GS: Mixture of Experts for Dynamic Gaussian Splatting(ICLR 2026 · arXiv:2510.19210v2)· 图 8 · 未修改引用(arXiv 非独占分发许可,非 CC)

两张图的对照对象不同,图 10-1 是 N3V、图 10-2 是 Technicolor,合起来覆盖了表 10-1 与表 10-2 两套账的画面侧。单目那一路另有一张表,落在 HyperNeRF 上。

表 10-3 HyperNeRF 数据集上的对比结果 (原文 Table 10, p.15 · 数值取原文文字层,逐格未改)

ModelPSNR (dB) ↑ 3dprinterPSNR (dB) ↑ bananaPSNR (dB) ↑ broomPSNR (dB) ↑ chickenPSNR (dB) ↑ Average
4DGaussians (Wu et al., 2024)22.1622.9020.8830.1224.02
E-D3DGS (Bae et al., 2024)22.4123.3820.0729.1123.74
MoE-GS (N=2)22.8424.7521.2630.3724.81

表 10-3 是单目设置下的可扩展性评估。原文说尽管输入视角有限,MoE-GS 仍迁移良好、维持高保真(原文 C.1,p.15)。按表读,MoE-GS (N=2) 的场景读数是 3dprinter 22.84、banana 24.75、broom 21.26、chicken 30.37,Average 24.81;两个对手里 E-D3DGS 的 Average 是 23.74、4DGaussians 是 24.02,MoE-GS 比 4DGaussians 高 0.79、比 E-D3DGS 高 1.07(差值为本站按表现算,原文未给)。这张表的表注在原文里只写到数据集与年份,末尾不带句号,本章照原样保留、不补标点;表 8-1 那样带 † 与 best/second-best 说明的写法,这里没有。

表 10-4 Technicolor 上蒸馏策略的消融 (原文 Table 11, p.15 · 数值取原文文字层,逐格未改)

ModelTrainingBirthday PSNRBirthday SSIMBirthday LPIPSFabien PSNRFabien SSIMFabien LPIPSPainter PSNRPainter SSIMPainter LPIPS
E-D3DGS (Bae et al., 2024)Retrained (GT Loss)32.050.9360.05034.70.8780.17136.260.9310.089
E-D3DGS (Bae et al., 2024)Distilled (w/o Weight)32.170.9420.04834.80.8830.16436.770.9340.089
E-D3DGS (Bae et al., 2024)Distilled (Ours)32.240.9460.03835.680.9020.12037.200.9390.078
STG (Li et al., 2024)Retrained (GT Loss)33.150.9470.03834.870.9010.11733.610.9070.098
STG (Li et al., 2024)Distilled (w/o Weight)33.270.9480.04034.990.9010.18833.660.9070.099
STG (Li et al., 2024)Distilled (Ours)33.460.9490.03935.010.9020.11733.510.9080.094
Ex4DGS (Lee et al., 2024)Retrained (GT Loss)32.180.9440.03935.330.8960.12436.400.9300.094
Ex4DGS (Lee et al., 2024)Distilled (w/o Weight)32.390.9450.04135.440.8960.12636.370.9300.095
Ex4DGS (Lee et al., 2024)Distilled (Ours)32.410.9460.03835.880.9030.11536.870.9350.086

表 10-4 换到逐场景口径,把三个骨干各自在三种训练方式下的读数排开,三种方式是 Retrained (GT Loss)、Distilled (w/o Weight)、Distilled (Ours)。真正要看的是 E-D3DGS 那三行的 Average 与表 12-2 对得上:第 12 章的三行是 32.88/33.26/33.67,本表同一位骨干的 Average 逐行一致,可作为跨表印证。E-D3DGS 三行的 Birthday 与 Painter 也逐行往上走,而 STG 与 Ex4DGS 的涨幅形状不同,原文只把它当作各组件对最终性能贡献的逐场景说明(原文 C.1,p.15)。Fabien 一列另有两格要照原样处理:E-D3DGS 的 Retrained (GT Loss) 行写 34.7、Distilled (w/o Weight) 行写 34.8,原文只有一位小数,本章不补成两位。版面上 Model 列按三种训练方式合并单元格、每个骨干罩三行,取值时逐行重复骨干名以便逐格核对。

这一批四张表的分工可以这样收:两套多视角数据集给逐场景、逐指标的补充,单目的 HyperNeRF 给可扩展性,蒸馏策略的逐场景账落在表 10-4。四张表取值一律以原文文字层为准,用到的实读发现有两处要记住,MoE-GS (N=4) 的 Cut Roasted Beef 是 35.20 对 35.08,STG 与 Ex4DGS 在表 8-2 与表 10-2 之间有五格差(原文附录 C.1,p.14–p.16;Table 8、Table 9、Table 10、Table 11)。

11高斯级解释与几何评估(附录 D)

第 10 章把补充读数摆完,这批读数有一个共同的落脚点还没交代:路由器学到的逐像素权重到底落在哪个高斯身上。附录 D(p.19–p.20)把这条链从像素抬回高斯域,并给出一个纯几何的评估指标。

起点是把两边对齐。路由输出的是逐像素的专家权重 G′_k(u),而专家 k 的每个高斯 j 通过它的体积透射率 T_{k,j}(u) 与不透明度 α_{k,j}(u) 对像素 u 作贡献。原文先定义高斯的原始体积贡献,写成式 11-1。

(12) Ck,j(u) = Tk,j(u) αk,j(u) (高斯的原始体积贡献:透射率乘不透明度)(原文式 12)

式 11-1(原文式 (12))里没有路由的参与,量的是几何量本身:透射率 T_{k,j}(u) 乘不透明度 α_{k,j}(u)。它量的是高斯 j 在像素 u 处这条射线上影响有多大,作为后面加权的基数。

把逐像素的路由抬回高斯域,靠的是给这份贡献乘上路由器的像素 gate,写成式 11-2。

(13) C̃k,j(u) = G′k(u) Ck,j(u) (门控后的贡献:像素 gate 乘原始贡献)(原文式 13)

式 11-2(原文式 (13))等于像素 gate G′_k(u) 乘上式 11-1 的原始贡献。它把「路由器认为这个像素该交给哪位专家」与「这个高斯在这个像素上有多少几何贡献」乘到一起,门控权重与逐高斯贡献的对应关系就发生在这里。

直接拿这个乘积当责任会有一个问题,原文点出不同高斯在可见性、不透明度与像素覆盖上差异很大,所以门控后的贡献同时反映几何尺度与路由强度,两者混在一起就分不清哪一部分来自路由。要隔离路由效应,就用每个高斯的总体积贡献做归一化,得到式 11-3。

(14) R̄k,j = ( Σu∈U C̃k,j(u) ) / ( Σu∈U Ck,j(u) ) (归一化责任;U 是所有训练视图的全部像素射线集合)(原文式 14)

式 11-3(原文式 (14))是门控后贡献在所有训练视图像素射线上的求和,除以原始贡献在同一集合上的求和;U 是所有训练视图的全部像素射线集合。结果量的是高斯 j 在专家 k 内、在路由器逐像素 gate 下被利用得有多强。逐高斯责任与门控权重就是这样对上的:G′_k(u) 决定某个像素上哪位专家被选中,式 11-3 把这个逐像素的选择按每个高斯实际的体积贡献摊回去,于是能读出哪些高斯在 MoE 的混合里被哪位专家接管、接管得多强。

这套提法之所以说得通,原文给的理由是不同专家在异构形变空间里运作,它们的高斯在 3D 里不构成一一对应;而像素空间是所有专家共享的观测域,每个高斯都通过 T_{k,j}(u)α_{k,j}(u) 对同一组射线作贡献,于是 G′_k(u) 门控的是几何条件化的体积贡献,抬升操作良定义,得到的责任权重保有连贯的 3D 语义(原文 D.1,p.19)。

有了归一化责任,就能搭一个不改几何的事后融合模型。原文的做法不需要任何重训练:对专家 k 里的每个高斯 j,全部几何属性(position、scale、rotation、SH coefficients)保持不动,只按责任调整不透明度,写成式 11-4。

(15) αfusedk,j = R̄k,j αk,j (融合不透明度;几何属性一律不动,只按责任调不透明度)(原文式 15)

式 11-4(原文式 (15))等于责任权重 R̄_{k,j} 乘上原来的不透明度 α_{k,j}。融合模型就是把所有专家的所有高斯用这份融合后的不透明度直接拼接起来,再用标准的 3DGS 体渲染器渲染,原文特意写明这里没有任何 2D 合成(原文 D.2,p.19)。几何没动、只动了不透明度,这件事的分量在于它把逐像素的路由结果转成了一个可渲染的统一高斯集合。

要定量评这个融合模型的几何,原文定义了多视角深度一致性(Multi-view Depth Consistency,MDC),量的是同一时间戳下所有视角对之间深度图的平均重投影误差,写成式 11-5。

(16) MDC = ( 1 / |P| ) Σ(i,j)∈P ‖ Πvj( Dti ) − Dtj ‖1 (多视角深度一致性;P 是所有有序视角对的集合,越低越好)(原文式 16)

式 11-5(原文式 (16))在所有有序视角对上取平均:把时间戳 t 下视角 i 的深度图用该时刻的已知相机位姿重投影进视角 j,再与视角 j 自己的深度图逐像素取 L1 差;P 是所有有序视角对的集合。这个指标越低越好,原文在 Figure 10 的图注里直接写了 lower is better(原文 D.3,p.19–p.20)。

N3V 数据集上的多视角深度一致性
图 11-1 E 类·证据 · 原文 Figure 10, p.20 · 原样引用 怎么读 ①指认:六个分栏各自对应一个 N3V 场景,分栏标签为 Sear Steak、Cut Beef、Flame Steak、Cook Spinach、Flame Salmon 与 Coffee Martini,横轴为 Timestamp,栏内四条轨迹分别标为 E-D3DGS (Per.)、Ex4DGS (Inter.)、MoE-GS 与 STG (Poly.)。②读法(怎么读):这是曲线图,形状与逐点数值不可文本核对,正文只引原文写出的结论,即 MoE-GS 在所有场景与时间戳上一致取得更低的重投影误差、平均而言取得最佳 MDC,不从图上读任何数。 来源:MoE-GS: Mixture of Experts for Dynamic Gaussian Splatting(ICLR 2026 · arXiv:2510.19210v2)· 图 10 · 未修改引用(arXiv 非独占分发许可,非 CC)

图 11-1 把 MDC 摆到整个 N3V 数据集上,比的是事后融合的高斯模型与各家动态高斯泼溅基线。原文的解读句要原样带上:尽管 MoE-GS 训练时用的是像素级 gate,融合后的高斯模型在一个纯体积指标下仍表现出全局更好的 3D 一致性,说明这套混合提升的是几何重建质量,不止光度保真度(原文 D.3,p.20)。

这五条式的符号统一并入第 4 章式 4-1 至式 4-5 那张释义表的后半,本章不另立表;其中要认的符号是 C_{k,j}、T_{k,j}、G′_k、C̃_{k,j}、R̄_{k,j}、U、P、Π_{v_j} 与 D^t_i。这一段收在账面上:逐高斯责任来自逐像素 gate 与体积贡献的比值(式 11-1 至式 11-3,原文 (12) 至 (14)),融合只改不透明度(式 11-4,原文 (15)),几何评估用 MDC(式 11-5,原文 (16)),三处都写在附录 D.1 至 D.3(p.19–p.20)。

12稳定性、专家专精与边界

第 11 章把几何那一路收在 MDC 上,剩下三笔账在附录 E、F、G 里:MoE 的增益是结构性的还是多次重训碰运气,路由加权蒸馏的定价,以及四位专家各自的运动性格。收完它们,再列八条边界。

附录 F(p.22)用一遍重复训练来分第一件事。原文把每位单专家在相同设置下重训 5 次,MoE-GS 也训 5 个独立模型、每个模型用对应那次运行的那套专家,于是每一轮 MoE-GS 都与它自己那套专家配对,在同一次运行的随机条件下比较(原文附录 F,p.22)。

表 12-1 重复训练的稳定性 (原文 Table 12, p.22 · 数值取原文文字层,逐格未改)

ModelPSNR (dB) MinPSNR (dB) MaxPSNR (dB) Average
E-D3DGS (Bae et al., 2024)30.7832.3331.19
Ex4DGS (Lee et al., 2024)31.4332.1031.78
4DGaussians (Wu et al., 2024)30.1831.4330.70
MoE-GS (N=3)32.7233.2333.01

表 12-1 的单专家三行是 E-D3DGS 30.78/32.33/31.19、Ex4DGS 31.43/32.10/31.78、4DGaussians 30.18/31.43/30.70,MoE-GS (N=3) 是 32.72/33.23/33.01。原文由此给两句结论:单专家确有 run-to-run 波动,但即使任一专家最强的那一次也达不到 MoE-GS;MoE-GS 的稳定提升来自整合互补的形变先验,与运行之间的统计波动无关(原文附录 F,p.22)。

这里有一处第 8 章埋下的读法要在本章坐实。表 12-1 的 Max 列四行 32.33、32.10、31.43、33.23 逐格等于表 8-1 的 Average 列同一四行,4/4 全等,说明主表报的是多次运行里最好的那一次。这也解释了表 12-1 与主表两处 Average 之间的口径差:E-D3DGS 是 31.19 对 32.33、Ex4DGS 是 31.78 对 32.10、4DGaussians 是 30.70 对 31.43、MoE-GS (N=3) 是 33.01 对 33.23。表 12-1 的 Average 是多次运行的均值,表 8-1 的 Average 是单次运行在六个场景上的均值,两处不可混用(原文 Table 12, p.22 与 Table 1, p.7)。顺带核到另一组相等:表 8-1 与表 9-1 的 100% 列四行也 4/4 全等(32.33/31.92/31.43/33.23)。

第二笔是蒸馏加权的定价。附录 G(p.22)比较两种策略,一是不加权(w/o weighting),二是由 MoE-GS 导出的 gating-based weighting,两者都在 E-D3DGS 与 Technicolor 上做(原文附录 G,p.22)。

表 12-2 路由加权蒸馏的效果 (原文 Table 13, p.22 · 数值取原文文字层,逐格未改)

MethodPSNR (dB) ↑SSIM ↑LPIPS ↓
E-D3DGS (Baseline)32.880.9020.111
w/o Weight33.260.9070.110
Routing Weight (Ours)33.670.9180.091

表 12-2 三行是 E-D3DGS (Baseline) 32.88/0.902/0.111、w/o Weight 33.26/0.907/0.110、Routing Weight (Ours) 33.67/0.918/0.091。原文的解释是路由权重刻画不同专家在每个时空区域的贡献,提供编码互补形变先验的监督信号,不依赖逐像素误差统计(原文附录 G,p.22)。这张表与第 9 章的表 9-2 有一处对不上:E-D3DGS 蒸馏后的 SSIM,表 9-2 写 0.915、本表写 0.918,PSNR 33.67 与 LPIPS 0.091 两格一致,两处引用时要说清用的是哪一张表的值。

第三笔是专家的运动性格。附录 E(p.20–p.21)逐家分析四位专家的运动倾向,原文说各自的形变先验带来根本不同的归纳偏置,于是在不同空间区域与时间运动区间上表现各异(原文附录 E,p.20)。

四种动态高斯泼溅方法的运动轨迹对比
图 12-1 E 类·证据 · 原文 Figure 11, p.21 · 原样引用 怎么读 ①指认:一张运动轨迹对照图,图例为 E-D3DGS (Per.)、Ex4DGS (Inter.)、4DGaussians (Hex.) 与 STG (Poly.) 四条。②读法(怎么读):这是轨迹画面对照,画面本身不可文本核对,正文只引附录 E 对四家轨迹性格的文字与图例名,不从图上读任何数。 来源:MoE-GS: Mixture of Experts for Dynamic Gaussian Splatting(ICLR 2026 · arXiv:2510.19210v2)· 图 11 · 未修改引用(arXiv 非独占分发许可,非 CC)

图 12-1 的四条轨迹对应附录 E 的四段判语。4DGaussians(HexPlane canonical deformation)的轨迹短、平滑、高度正则,共享的 HexPlane 规范表示让空间相邻高斯收到几乎相同的形变信号,于是在静态或低运动区稳定,在快运动区则常过平滑或塌缩。E-D3DGS(per-Gaussian volumetric deformation)的轨迹方向一致、速度相对更高,来自两分支形变网络与局部嵌入正则,再叠加 per-Gaussian embeddings 当作局部运动描述子,于是形成连贯的运动簇。Ex4DGS(keyframe interpolation)的轨迹高度多样、常呈自由形式,因为每个高斯在关键帧之间独立更新位置,没有形变场、也没有强制空间连贯的机制,利于不规则或快速变化的运动,代价是连贯或刚性区域不够协调。STG(polynomial trajectory model)的轨迹全局平滑、低曲率,用低阶多项式运动参数化,在插值式与形变式之间居中间位置,适合刚性或近刚性的全局运动与低频时间变化(原文附录 E,p.20–p.21)。原文另留一条口径:这些运动倾向只具代表性,真实场景常混合或含歧义的运动模式。

附录 F 另有一句与附录 E 呼应:专家特定的运动行为在重复训练里保持定性一致,E-D3DGS 倾向于快而连贯的运动,Ex4DGS 更常捕捉不规则、多方向的运动,反映的是各方法的形变先验(原文附录 F,p.22)。三笔账合起来看,MoE 的增益是结构性的:稳定性由 5 次重训的配对比较给出(表 12-1),蒸馏加权由表 12-2 三行给出(附录 G),专家性格由附录 E 的四段与图 12-1 给出。本章的表是 Table 12 与 Table 13(p.22),图是 Figure 11(p.21)。

收完这三笔,把这篇要交代的边界排一遍。

边界 1: MoE 的容量与 FPS 代价是固有的。摘要原话是 the increased model capacity and reduced FPS are inherent to the MoE architecture;§1 写明 MoE-GS 不为减少 FLOPs 或显存,单遍渲染、剪枝、蒸馏只是让这份额外开销保持可用的配套机制。表 6-1 是定价:MoE-GS (N=2) 的 FPS 44、Memory 878.7,对 Ex4DGS 的 120 与 122.8。

边界 2: 专家数增加会把高斯总数按比例推高,训练时间原则上也按 N 倍增长。§3.3 原话是 as the number of experts increases, the total Gaussian count grows proportionally;§4.2 末原话是用 N 位专家 could increase training time by a factor of N。表 8-1 里 N=3 到 N=4 的 Average 只从 33.23 涨到 33.27,差 0.04。

边界 3: 剪枝必须配蒸馏。§3.3 原话是 aggressive pruning alone is insufficient,并说朴素按比例剪枝、以及专家数增加时朴素丢弃大部分高斯,都会 destabilize optimization。表 6-1 的 75% 剪枝把 PSNR 从 32.82 拉到 32.45,差 0.37,而 55% 剪枝只掉 0.02。

边界 4: † 是另一套训练口径。表 8-1 与表 10-1 的表注原话是 Models were trained on a dataset split into 150 frames;带 † 的行(如 N3V 的 STG†、表 6-1 的 STG†)与其余行不完全同口径,跨行比较前必须先声明。

边界 5: 表 9-1 的表头没有写指标名。原文表头只有 Model 加 100%/50%/20%/10% 四个预算档,正文要点明这一列是 PSNR;同时 10% 档 MoE-GS 的 32.14 低于满额 E-D3DGS 的 32.33,原文只把 20% 档说成仍胜基线,这档差如实并列、不替作者扩述。

边界 6: 跨表读数有五组不一致,引用前必须先声明用哪一张表的值。第一,表 8-1 与表 10-1 的 MoE-GS (N=4) Cut Roasted Beef,35.20 对 35.08,其余 29 格一致,按平均反推 33.265 支持 35.20;第二,表 8-2 与表 10-2 的 STG Birthday 32.16 对 31.90、STG Painter 37.18 对 37.07,Ex4DGS 三格是 32.35 对 32.36、35.18 对 35.19、36.60 对 36.66;第三,表 9-2 与表 12-2 的 E-D3DGS 蒸馏后 SSIM 0.915 对 0.918,PSNR 33.67 与 LPIPS 0.091 一致;第四,表 8-1 与表 6-1 的 Ex4DGS 32.10 对 32.01、MoE-GS (N=2) 32.54 对 32.82,STG† 31.92 一致;第五,表 12-1 的 Average 与表 8-1 的 Average 四行全不同,31.19 对 32.33、31.78 对 32.10、30.70 对 31.43、33.01 对 33.23,属口径差。逐格比过 68 格,一致 55 处。

边界 7: 图 1 的立题论据是作者的主张,算不上可复算的结论。它三栏(Scene PSNR per Model/Patch-wise PSNR per Model/Time PSNR per Model)与四条轨迹的数值不在文字层,正文只引原文写出的判语;同理,三张架构示意图(图 3-1、图 5-1、图 5-2)与七张对照图或曲线(图 5-3、图 8-1、图 9-1、图 10-1、图 10-2、图 11-1、图 12-1)的画面都不读值,例外是图 5-3 的 31.12/32.05/33.23 属图内已写出的标注,可以点名。

边界 8: 本篇不可站内托管,只给 arXiv canonical。逐页检索 Copyright/Creative Commons/CC BY/CC0/License 等字样全部未命中,PDF 内没有任何许可声明;arXiv abs 页实测为无许可行,默认的 perpetual, non-exclusive license 只把分发权授予 arXiv,第三方不能把它当自己的发布渠道。正文与页脚只给 https://arxiv.org/abs/2510.19210、标「非 CC · 逐图署名引用」;视频演示只在 cvsp-lab.github.io/MoE-GS,不描述该页内容。

13贡献块

这一篇的贡献(精读视角)

贡献块

这一篇的贡献可以按「把一件事说成问题」与「把三个取舍得摆平」两条线收。

第一条是问题本身。动态重建这条线上,方法已经不少了:MLP 形变网络、多项式运动模型、插值式方法都各有拥趸。这篇没有去论证"其中某一个不好",而是用图 1 的三组证据把话题换掉 —— 跨场景看,最优方法换人;同一个场景里按空间块看,最优方法也换人;同一段视频里按时刻看,还是换人。于是要解的不再是"哪个表示更强",而是"怎样把互不相同的形变先验合起来"。作者给这件事配的做法是把 MoE 引进来,并明确区分了它与大语言模型里那套的关系:那边的 MoE 以稀疏化省算力为目的,这边以画质为目的,合的是异质的专家而不是同质的副本。

第二条是路由器这一处取舍的摆平。纯 2D 融合训练稳、却缺 3D 上下文,画面过度平滑、锐利边界抓不住;纯 3D 融合改高斯不透明度、几何保得住,细节却保不住,而且常出现优化不稳。本文的做法是给每个高斯算一组逐高斯权重(不透明度、方向、时间加权的轨迹),把这组权重可微地泼溅到像素空间,再用轻量 MLP 出残差、过 softmax 得到融合权重。账面上本文的路由器是 33.23 dB / 0.954 / 0.021,两个对照分别是 2D 像素级的 31.12 与 3D 体级的 32.05(表 5-1,原文 Table 4)。

第三条是代价的诚实处理。摘要里直接写出「容量上升与 FPS 下降是 MoE 架构固有的」,然后才给两条互补的缓解路。框架内这条是单遍多专家渲染加门控感知剪枝:剪枝按门控输出对逐高斯权重的敏感度〔式 6-2:在数据集上取 |∂G′/∂w^per| 的平均〕挑要剪的高斯,而单遍渲染把每个高斯的投影与遮挡计算从 N 遍摊成一遍。框架外这条是蒸馏:式 7-1 的两项都乘上同一组门控权重,于是蒸馏只在该专家真正负责的像素上施压,部署时不必改架构,直接用一个专家跑。原文也交代了单靠激进剪枝会不稳、必须配蒸馏。

账面上的收束分两处,不能合并说。画质侧 MoE-GS 在两套公开数据集上平均最好,N3V 上本文行是 33.23 dB(与表 5-1 的本文行一致)。效率侧在表 6-1 里看得更清楚:N=2 的 MoE-GS 是 32.82 dB / 44 FPS / 878.7,剪掉 55% 之后是 32.80 dB / 83 FPS / 351.2 —— 本站复算:帧率是原来的 1.89 倍,显存账降到 40%,而 PSNR 只让了 0.02 dB。作为对照,两个专家单独跑是 STG† 的 31.92 / 88.5 / 609.5 与 Ex4DGS 的 32.01 / 120 / 122.8:合起来的画质高于任何单个专家,代价在显存上。

本站在文里额外做了三件事,都属于精读该做的核对,没有替作者下判断。第一,把 13 张表按原文文字层逐格取出来重排(465 个数値格,tables-md.md),并用一条完全独立的路径逐格复核,跑到零差异;在此之上核了跨表一致性:比 68 格,一致 55 格、不一致 13 格,五组差异(表 8-1↔表 10-1 一格、表 8-2↔表 10-2 五格、表 9-2↔表 12-2 一格、表 8-1↔表 6-1 两格、表 12-1 与主表 Average 四行)已分别写在对应章节里。第二,查出一处自身不自洽:表 8-2 里 MoE-GS (N=3) 的 Average 写 34.55,而该行五个场景值 33.26/36.26/37.63/32.88/32.89 的均值是 34.584,同一配置在表 10-2 里写 34.58。第三,把「主表报的是哪一次」这个问题坐实了:表 12-1 的 Max 列四行逐格等于主表 Average,说明主表报的是多次运行里最好的一次,这也解释了表 12-1 与主表 Average 之间那四行的口径差。

14原文出处块

原文出处

标题:MoE-GS: Mixture of Experts for Dynamic Gaussian Splatting

作者:In-Hwan Jin、Hyeongju Mun、Joonsoo Kim、Kugjin Yun、Kyeongbo Kong。前四位与 Kong 的邮箱域名是 @pusan.ac.kr(ihjin、201924128、kbkong),Kim 与 Yun 的是 @etri.re.kr(joonsookim、kjyun):In-Hwan Jin 与 Hyeongju Mun 为共同一作,Kyeongbo Kong 为通讯作者,单位分别是釜山国立大学(Pusan National University)与韩国电子通信研究院(Electronics and Telecommunications Research Institute, ETRI)。

发表:ICLR 2026(The Fourteenth International Conference on Learning Representations)会议论文。预印本 arXiv:2510.19210v2 [cs.CV],v2 日期 2026-03-07。原文 23 页,Letter 开本双栏;正文含 16 个编号公式、11 张图、13 张表,另有 2 页参考文献与 11 页附录(A Overview 与 A.1 主文引用索引、B Implementation Details B.1–B.4、C Additional Quantitative and Qualitative Results C.1–C.2、D Gaussian-Level Interpretation and Geometry Evaluation D.1–D.3、E Analysis of Expert Specialization、F Best-of-N Retraining、G Ablation on Distillation Weighting Strategies;E/F/G 无子节号)。

授权:arXiv 非独占分发许可(licenses/nonexclusive-distrib/1.0)。原文 PDF 内没有任何许可声明(逐页检索 Copyright、Creative Commons、CC BY、CC0、License、licensed、All rights reserved、non-exclusive、perpetual,一处未命中,只命中参考文献里的 arXiv 号);本页所据的许可来自 arXiv 摘要页的 License 链接。按该许可,arXiv 自身可以分发该预印本,本站不提供站内 PDF 托管,只在文末给出 arXiv 的 canonical 链接,并对每一张原图逐图署名。

附材料:原文摘要末尾给出项目页 https://cvsp-lab.github.io/MoE-GS(原文写作 cvsp-lab.github.io/MoE-GS),摘要把该页的定位写成「视频演示”。另:本篇的三个专家骨干分别来自 4DGaussians、E-D3DGS 与 STG,基线里还有 Ex4DGS、3DGStream、DASS、SaRO-GS、SwinGS、K-Planes、MixVoxels-L、HyperReel、DyNeRF 等;数据集用 N3V 与 Technicolor,附录另在单目的 HyperNeRF 上评估。本站不对任何外部仓库或项目页的内容、可用性作任何描述或推断。

原文全文:arXiv:2510.19210(canonical 版本)

原文预印本采用 arXiv 非独占分发许可(licenses/nonexclusive-dist/1.0,非 CC),该许可只允许 arXiv 自身分发,因此本站不提供站内 PDF 托管;逐图署名与残留风险已登记在出处块。

使用说明:本页是论文精读,未做全文翻译,也不代表原作者的观点汇总。正文里的方法描述、数值与结论均标注了原文出处(页码口径 [p.N],从 0 起);11 张图按实测包围盒从原文 PDF 裁取原样引用,未裁切拼接、未加标注、未施滤镜,逐图署名;13 张表按原文文字层逐格取值后以 HTML 重排,465 个数値格未改位数。本页的作者主张与本站的核对发现是分开写的:凡属作者主张(例如「没有单一方法能通吃所有动态场景」这一立题、两种路由变体的失败原因、MoE 的容量与帧率代价是固有的、单靠激进剪枝不稳)均标明是原文的判断;凡属本站核对(表格逐格取值与跨表一致性、N=2 剪枝那组的倍数复算、表 8-2 Average 与自身场景列的差分、表 12-1 的 Max 与主表 Average 的对应关系)均标为实读发现。文中所有数据以原文为准;跨表引用同一配置时,本站会指明取的是哪一张表的值(两处读数不一致时并列,不取其一)。若原文后续版本有修订,以 arXiv 最新版为准。