"Reconstructing dynamic 3D scenes from monocular input is fundamentally under-constrained, with ambiguities arising from occlusion and extreme novel views. While dynamic Gaussian Splatting offers an efficient representation, vanilla models optimize all Gaussian primitives uniformly, ignoring whether they are well or poorly observed. This limitation leads to motion drifts under occlusion and degraded synthesis when extrapolating to unseen views. We argue that uncertainty matters: Gaussians with recurring observations across views and time act as reliable anchors to guide motion, whereas those with limited visibility are treated as less reliable. To this end, we introduce USPLAT4D, a novel Uncertainty-aware dynamic Gaussian Splatting framework that propagates reliable motion cues to enhance 4D reconstruction. Our approach estimates time-varying per-Gaussian uncertainty and leverages it to construct a spatio-temporal graph for uncertainty-aware optimization. Experiments on diverse real and synthetic datasets show that explicitly modeling uncertainty consistently improves dynamic Gaussian Splatting models, yielding more stable geometry under occlusion and high-quality synthesis at extreme viewpoints. Project page: https://tamu-visual-ai.github.io/usplat4d/."
- 欠约束是任务本身的性质,不是方法的缺陷:单目输入下,遮挡背后的运动看不见、极端新视角下的表面从来没被观测过(原文摘要原话用的是 under-constrained 与 ambiguities)。这一点决定了本篇要解的是「怎么知道哪些观测能信」,而不是「怎么表示得更强」。
- 原版动态高斯的问题被一句话点破:vanilla 模型对所有基元均匀优化,不问观测好坏。后果写在摘要里,是两处具体退化 —— 遮挡下的运动漂移 与 外推到未见视角时的画质下降。
- 可信度的判据是「反复被看见」:跨视角、跨时间被反复观测到的高斯作可靠锚点去引导运动,可见性差的那些降级对待(原文摘要)。这条判据是整篇的出发点,后面的不确定性估计与时空图都是它的实现。
- 两层做法:先估计逐高斯、随时间变化的不确定性,再据此建一张时空图做不确定性感知的优化(式 3-1 到式 6-4)。图的边按不确定性加权(式 5-1 的 UA-kNN),并带一条非关键挂接支路(式 5-2)处理「不是关键点但也要挂」的那些高斯。
- 损失里有「关键项」与「去噪桥」两件:关键项(式 6-1)把不确定性引进监督,去噪桥 DQB(式 6-2)单独处理一类目标,最后四项加权成总损失(式 6-4)。原文对这几处的权重只给符号、没给数值(式 4-4 的大常数 φ、UA-kNN 的 k、体素网格分辨率、DQB 的边权归一化),本站一律留白不替作者填。
- 账面三处:DyCheck
7 scenes 2×上 19.63 / 0.716 / 0.25,对 MoSca 的 19.32 / 0.706 / 0.26 差 +0.31 dB;Objaverse 上对 MoSca 的三档视角偏移是 0.04 / 0.24 / 0.42 dB;消融里去掉不确定性那一环掉 0.77 dB(四个档里最大),另外三档分别掉 0.13 / 0.55 / 0.13 dB(表 9-1)。 - 跟踪与成本:跟踪指标上 PCK@5cm 从 43.0 提到 54.4(绝对差 11.4 个百分点,原文写作 "by over 11.4%");成本按原文给的速率复算是约 23 分钟(200 张图:图构建 10 分 + 训练 13 分),DAVIS 那种 50–90 帧的序列是 2.5–4.5 分 + 3.3–6 分。
- 三处实读发现(本站逐格核过三张表、独立路径复核 0 差异):①表 8-1 的表注写「across all metrics」领先,但按表现算
5 scenes 1×里 MoBlender 的 mLPIPS 是 0.37、本篇是 0.38(mPSNR 16.85 对 16.79、mSSIM 0.650 相等)⇒ 表注这句需要限定;②表 8-2 的增益列是连写的,18 格中 12 格能由「读数 − 同行基线」复原、6 格对不上(最扎眼的是 (60°,120°] 的 PSNR,读数差 0.99 而连写作09)⇒ 本站只引读数、不采信连写增益;③表 8-2 与附录表 S4 的六场景均值有 7 格差 0.008–0.175(最大一处 15.98 对 15.805),表 8-1 与附录表 S3/S10 也有四处小差(MoSca 19.32 对 19.35、mSSIM 0.650 对 0.645、0.716 对 0.715 等,原文表注已交代 S3 带⋆为作者复现口径)。
1歧义从哪来:单目输入欠约束,而所有高斯被一视同仁
把一段单目视频还原成能任意看、任意时刻渲染的 4D 场景,难处落在观测这一侧:相机与物体都在动,而每一时刻总有表面转到背面、看不见。原文首页那张图画的正是这样一段素材 —— 一个人随手转动背包,同时被一台移动的单目相机拍下(原文 Figure 1, p.0)。摘要把这件事写成一句判断:从单目输入重建动态 3D 场景本质上是欠约束的(fundamentally under-constrained),歧义来自遮挡与极端新视角(原文摘要, p.0)。欠约束的来源不止一处:深度这一维在单目下远比像平面坐标不可靠,原文说得直接 —— depth is much less reliable than image-plane coordinates(原文 §4.1, p.4),用一个统一标量去度量还会沿相机轴过度自信、带来几何畸变;自遮挡让任意时刻总有一部分表面被自己挡住、不可见(原文 §1, p.1);相机运动与物体运动叠在同一条单目观测里,图 1-1 把两者摆在一起。
现有做法在这层歧义上做了一个共同取舍。动态高斯泼溅这类方法参数化运动的路子分成三条 —— 共享规范场、形变基、直接 4D 建模 —— 却常共用一个假设:运动在所有高斯上被统一优化(motion is optimized uniformly across all Gaussians),监督来自 depth、optical flow、photometric consistency 这类 2D 先验(原文 §1, p.1)。一视同仁的处理漏掉的恰是观测质量本身,原文的判语是它忽略了「一些高斯被反复出现的观测强约束、另一些只受弱约束」,后果也一并写明:遮挡下运动估计漂移,外推到新视角时合成退化(原文 §1, p.1)。靠多视角输入做重建的那一支(Luiten et al., 2024;Wang et al., 2025b)把观测做厚了、保真度更高;原文对单目这一支的判语则落在可靠性上 —— 它们不显式建模遮挡物背后的运动,也不识别可靠高斯来引导运动(原文 §2, p.1–p.2)。这条判据在已有的动态高斯方法里都没有成为显式的建模对象。
作者的主张落在被放过的那一个量上。摘要把立场说死 —— We argue that uncertainty matters:跨视角与时间被反复观测到的高斯是引导运动的可靠锚点(reliable anchors),可见性有限的则被当作较不可靠(原文摘要, p.0)。引言把这条直觉落成一条原则:观测残缺时,重建应当由自信的线索引导,并被结构化地传播到不确定区域(原文 §1, p.1,原话 when observations are partial, reconstruction should be guided by confident cues and propagated structurally to uncertain regions)。背包那个例子是这段话的注脚 —— 人能补出被转过背面的外观与运动,靠的是记住此前从别的视角与时刻看清过的表面(原文 §1, p.1)。据此提出的方法叫 USPLAT4D,是一个不确定性感知的动态高斯泼溅框架(Uncertainty-aware dynamic Gaussian Splatting):它估计逐高斯的时变不确定性,再用它构建一张时空图做不确定性感知的优化,把可靠的运动线索传播出去(原文摘要, p.0)。引言把要做的事拆成三步:先为每个高斯估计刻画「被反复观测约束得有多可靠」的时变不确定性,再用它选锚点高斯、把运动在空间与时间上传播出去;落地的形式是一张时空图,不确定性在其中决定节点重要性、边构造与损失加权(原文 §1, p.1)。
图内左半的四张输入帧摆出了观测有多零碎,时间戳 1/68/79/119 是原文写在图上的,可以点名;右半的 view 1 与 view 2 同样写在图内,按图注是反向视角与大角度偏移。画面本身不承担读数,作者请读者到项目页看更清晰的视觉对比(原文 Figure 1, p.0)。
对账:欠约束出自摘要(p.0);自遮挡与「一视同仁」的后果出自 §1(p.1);相机轴过度自信出自 §4.1(p.4);「不识别可靠高斯」出自 §2(p.1–p.2)。第 2 章摆清两条前人线的缺口。
2两条前人线:形变表示补上了保真度,不确定性还停在辅助信号上
上一章把欠约束与「一视同仁」这层根因摆出来,这里把这篇脚下踩着的两块地基分开交代。动态高斯泼溅那条线解决的是怎么把运动表示得又准又快,不确定性那条线解决的是怎么在不可靠的观测下稳住结果;原文在 §2 把两条线分别评了一遍,两块地基的缺口正好对出了一个接口,而这个接口要分开看才站得住。两条线各自都把自己那一半做到了位,缺的是把两半接起来的中间环节。
动态高斯泼溅这条线进展不慢。原文把它分成两支:一支用逐高斯形变或规范运动建模做单目 4D 重建,另一支从多视角输入做高保真重建(原文 §2, p.1)。单目视频这一支里,SoM(Wang et al., 2025a)、MoSca(Lei et al., 2025)、Marbles(Stearns et al., 2024)、4D-Rotor(Duan et al., 2024)用低秩运动基来正则形变,另一些方法转而建模规范流(canonical flows,Liang et al., 2025b;Liu et al., 2025)(原文 §2, p.1)。这些方法在靠近输入视角的验证视角上给出了高保真渲染,原文对此没有异议;它质疑的是可靠性这件事被略过了 —— 原文原话是,这些方法不显式建模遮挡物背后的运动,也不识别可靠高斯来引导运动,MoSca 虽然引入了一个软性的运动分数(soft motion score),却缺少结构化传播(lacks structured propagation)(原文 §2, p.1–p.2)。这一句点出了缺口的位置:分数是有的,能把分数用起来的结构没有。原文衡量的尺子换到远离输入轨迹的视角上,可靠性才开始决定成败,这条线自己对此并无异议。
低秩基这条路有代价:把运动压进少数几个自由度,换来稳定与速度,丢掉的是局部、与骨架无关的形变细节,这也是原文在接口那一点出「低秩建模之外」的原因。这篇在这条线上的接口因此落在两件事上。原文说,USPLAT4D 选出高置信度的高斯,再构建一张不确定性感知的运动图,经时空连贯的连接把运动传播出去,从而在遮挡区更稳健,并在低秩建模之外提供局部细化(localized refinement)的能力(原文 §2, p.2;引 Kim et al., 2024;Huang et al., 2024)。两者不冲突,原文把它们写成互补的关系:低秩基给出全局骨架,局部细化补上被压掉的细节。
不确定性那条线资历更老,位置却更靠边。原文说,不确定性建模在神经渲染里被广泛研究过(Shen et al., 2021;Li et al., 2022;Pan et al., 2022;Shen et al., 2022;Kim et al., 2022;Zhan et al., 2022;Yan et al., 2023;Lee et al., 2022;Sünderhauf et al., 2023),主要用来在遮挡、稀疏视角与歧义下提升鲁棒性(原文 §2, p.2)。原文点了 SE-GS(Zhao et al., 2025)作为近例:它估计自集成不确定性(self-ensembling uncertainty),据此设计一套不确定性感知的扰动策略,为的是重建静态场景时不至于过拟合(原文 §2, p.2)。这些工作在静态场景或通用设置里把不确定性用得很熟,可它们处理的场景没有「运动表示」这一层,不确定性因此不必与运动发生关系。
到了动态场景里,不确定性被用来平滑运动或给梯度重新加权(Kim et al., 2024),可原文紧接着给了判语 —— 它通常只是一个与底层运动表示解耦的辅助信号(typically as an auxiliary signal decoupled from the underlying motion representation)(原文 §2, p.2)。解耦这两个字是这条线的要害:既然不确定性与运动表示分开,它就只能在外围调节,无法决定哪一个高斯去带动另一个高斯。
作者把自己的位置放在这两句判语之间。原文说,USPLAT4D 把不确定性当作中心建模部件(a central modeling component):估计每个高斯的置信度,再拿它指导时空图里的关键节点选择、边构造与损失加权,让高置信度的高斯驱动运动传播,同时压低不确定区域的影响(原文 §2, p.2)。把可靠性折进节点与边,等于让它参与决定运动怎么传播,而不只是在损失里多加一项权重。收尾那句自我定位写得不客气 —— 就作者所知,这是把不确定性建模并直接接进图式运动建模(graph-based motion modeling)的最早尝试与分析之一(among the first attempts and analyses,原文 §2, p.2)。
收账:动态高斯这条线的两支、进展与判语出自 §2 第一段(p.1–p.2);不确定性这条线的用途、「解耦的辅助信号」与 SE-GS 一例出自 §2 第二段(p.2);USPLAT4D 的定位同样在 §2 第二段(p.2)。两条线各自缺的那一半 —— 可靠的判据、把判据用起来的结构 —— 正是接下来要摆平的记号与目标,第 3 章从这里接上。
3记号与既有目标:这套底座在极端视角下为什么松
上一章把两条前人线各自的缺口摆清楚,这里把叙述要用的记号与既有目标摆平,分量在于点破这套目标的脆弱来自哪里。这些记号与目标都是现成的,要交代的只是本篇接在哪里。原文在 §3 先回顾动态高斯泼溅及其学习目标,为 §4 的记号做准备,并声明本篇的方法与具体实现无关(model-agnostic),可以接到一大票动态高斯变体上(原文 §3, p.2;引 Lei et al., 2025;Wang et al., 2025a)。
先看表示。原文明说动态高斯泼溅用一个随时间变化的 3D 高斯集合表示场景,某个高斯在 t 时刻的状态写作式 3-1(原文 §3, p.2)。
这条式对应原文的式 (1)。符号逐个点清:G_t 是 t 时刻一个高斯的完整状态;p_t ∈ R³ 是它在 t 时刻的位置;q_t ∈ R⁴ 是四元数旋转(quaternion rotation);s ∈ R³ 是缩放;α ∈ R 是不透明度(opacity);c ∈ R^{N_c} 是颜色系数(color coefficients,例如球谐或 RGB),N_c 是颜色维度;t 是帧序号。一条高斯的轨迹于是写成序列 {G_t},t 取 1 到 T,T 是帧数(原文 §3, p.2)。状态里位置与旋转随时间变,缩放、不透明度与颜色不随时间变,这条分工是下一段那处取舍的结果。
渲染这一侧的底座是 α 混合(α-blending)。每个高斯先被投影、按深度排序,再把颜色按混合权重累加成像素颜色;原文把这个权重写成 T^h_{i,t} α_i,其中 T^h_{i,t} 是高斯 i 在像素 h 处的透射率(transmittance)、α_i 是不透明度,完整的渲染式连同光度损失一起写在 §4.1,也就是本篇的式 4-1(原文 §4.1, p.3)。顺序很重要:投影与排序决定哪一个高斯先被看到,权重决定它的话语权。式 3-1 给的是进入这套混合的表示,式 4-1 给的是混合本身与它的监督,两式合起来才是这套底座的全貌。
动态场景的形变怎么建模,原文只交代了一处关键取舍。早先的扩展会给颜色也加上时间变化,原文指出这样做会妨碍 3D 运动跟踪(hinders 3D motion tracking);SoM 与 MoSca 等近期方法因此限制了颜色空间,为的是稳住运动估计、让跟踪可靠(原文 §3, p.2)。颜色不再随时间变,运动的信息就只能从位置与旋转这些几何量里读出来;这一步把「可靠性」这个概念限定在几何量上,后面所有关于谁更可靠的判断都落在这里。
既有目标由两类损失拼成。原文说,优化 4D 高斯场时用的是一组损失的组合:一个是光度重建损失(photometric reconstruction loss),要求渲染图与真值图一致;另一个是运动局域性损失(motion-locality losses),用来正则高斯的时序演化(原文 §3, p.2)。后者包含五类约束 —— 等距(isometry)、刚性(rigidity)、相对旋转(relative rotation)、速度(velocity)与加速度(acceleration)—— 原文说它们的作用是缩小巨大的运动搜索空间、稳定优化(原文 §3, p.2;引 Lei et al., 2025;Huang et al., 2024)。前一类把画面拉回观测,后一类把运动拉回物理直觉,两者合在一处,优化才有确定的落点。这五项的逐项展开留到第 10 章,落在附录 A.2.1。
这套目标在哪些地方会松,是这一章真正的分量所在。原文承认它们在靠近输入视角时有效,却在遮挡与极端新视角下变得脆弱,原因写得很明确 —— 它们重度依赖 depth、optical flow、photometric consistency 这类不稳定的 2D 先验(原文 §3, p.2)。这几类先验在遮挡区本身就残缺,在极端视角下又失真,把它们当作监督的主干,误差会顺着优化一路传进几何。后果那句原话照抄:重建常常随时间漂移、并在不同视角之间失去几何一致性(reconstructions often drift over time and lose geometric consistency across different views,原文 §3, p.2)。
要补的就是这个缺口。原文在 §3 收尾处引入一个动态不确定性模型,显式编码每个高斯随时间的可靠性,把它写成整套框架的基础;高斯随后被划分成关键节点与非关键节点,通过一张不确定性加权的图连接起来,以强制时空一致性(原文 §3, p.2)。划分与建图留到第 5 章,不确定性的来源与形式落在第 4 章;这一章先记名,不提前动用。
收账:式 3-1 与状态、轨迹、颜色取舍、两类损失、局限与伏笔全部出自 §3(p.2);α 混合的渲染式与光度损失的完整写法在 §4.1(p.3)。式 3-1 的符号释义连同 §4.1 的五个量一起收在下章的表 4-1。第 4 章从这里往下走,把不确定性从光度损失里推出来。
4不确定性从光度损失里长出来,再被搬进 3D
上一章把记号与既有目标摆平,这一章把不确定性从观测质量一路推到 3D 空间里的各向异性矩阵。原文在 §4 开头交代流水线:先为每个高斯估一个时变的可靠性分数(§4.1);分数指导构建一张不确定性加权的图,把高斯组织成关键节点与非关键节点(§4.2);图再驱动优化,把可靠线索传播到不确定区域(§4.3)(原文 §4 Overview, p.2)。整条流水线见 Figure 2。
图内方块名与图例名都是原文写出的标签,可以点名;作为架构示意,不对数值负责。
§4.1 的动因很短:vanilla 动态高斯泼溅对所有原语一视同仁地优化,其中一些被观测得很好、另一些始终含糊,这会带来遮挡下的漂移与极端视角下的不稳;于是给每个高斯 G_i 配一个逐帧时变的不确定性,以与实现无关的方式指导优化(原文 §4.1, p.3)。
这份不确定性可从光度损失推出。原文把它写成式 4-1(原文 §4.1, p.3)。
这条式对应原文的式 (2),一个编号含两个式子,当作一组。Ω 是像素索引集;C̄^h_t 与 C^h_t 是 t 帧像素 h 的真值与渲染色;c_i 是颜色参数;N_g 是高斯数。渲染色由 α 混合得到,混合权重是 T^h_{i,t} α_i;权重越大、覆盖像素越多,颜色就被观测得越结实,这是下面推导的依据(原文 §4.1, p.3)。
把式 4-1 对颜色求导并假设局部极小,可解出方差的闭式,写成式 4-2(原文 §4.1, p.3)。
这条式对应原文的式 (3)。σ²_{i,t} 是颜色估计的闭式方差,Ω_{i,t} ⊆ Ω_t 是该高斯贡献到的像素集合;原文把它取作标量不确定性,即 u_{i,t} := σ²_{i,t}。看得越多、权重越大,求和项越大,方差越小,不确定性越低,这是全篇的地基(原文 §4.1, p.3)。
这条链的中间步骤在附录 A.1,原文给了六步:第一步把透射率与不透明度合成混合权重 v^h_i := T^h_i α_i(附录式 (S1));第二步写出 RGB 的 ℓ2 损失(附录式 (S2));第三步对第 k 个高斯的颜色 c_k 求梯度,得 ∂L/∂c_k = −Σ_{h∈Ω} 2(b^h_k − v^h_k c_k) v^h_k,其中 b^h_k := C̄^h − Σ_{j≠k} v^h_j c_j 摘出第 k 个高斯的贡献(附录式 (S3));第四步假设局部极小,令梯度为零(附录式 (S4));第五步解出 c_k = (Σ_{h∈Ω} b^h_k v^h_k) / (Σ_{h∈Ω} (v^h_k)²)(附录式 (S5));第六步在 b^h_k 服从均值为 v^h_k c̄_k、方差为 ε² 的正态分布下取 ε² = 1,得 σ²_k = (Σ_{h∈Ω} (v^h_k)²)^{−1},即式 4-2(附录式 (S6))。每一步都带假设:局部极小并不处处成立,所以要式 4-3 挑出未收敛像素;标量意味着各向同性,所以要式 4-5 的旋转传播把它掰成各向异性。
局部极小的缺口用逐像素收敛检查补上,写成式 4-3(原文 §4.1, p.3–p.4)。
这条式对应原文的式 (4)。判据是像素上的 ℓ1 颜色误差是否小于阈值:小于取 1,否则取 0;η_c > 0 是颜色误差阈值,取值为 η_c = 0.50(附录 D.2, p.21)。关掉它会掉点,因为模型会错误信任颜色误差大的高斯、给它们假的低不确定性。
把逐像素指示聚合成逐高斯的一次判断,就得到最终标量不确定性,写成式 4-4(原文 §4.1, p.4)。
这条式对应原文的式 (5)。聚合指示 1_{i,t} 取覆盖像素指示之积,全部收敛才等于 1;φ 是大常数,把未收敛或支撑差的高斯标记成高不确定性。原文的解读:支撑好的高斯拿到低的 u_{i,t},不可靠的被赋高值,于是可信的原语引导含糊的原语(原文 §4.1, p.4)。φ 的数值原文未给,只写符号(待核)。
标量到位后还有一处修正:标量隐含了不确定性在 3D 里各向同性。原文指出这在单目下有麻烦 —— 深度远比像平面坐标不可靠,统一标量会沿相机轴过度自信、导致几何畸变(原文 §4.1, p.4)。修正的做法是把像空间误差传播进 3D,写成式 4-5(原文 §4.1, p.4)。
这条式对应原文的式 (6)。U_c = diag(r_x u_{i,t}, r_y u_{i,t}, r_z u_{i,t}) 是像空间一侧的对角不确定性,R_wc 是相机到世界的旋转,r_x、r_y、r_z 是轴对齐缩放因子;原文强调只需旋转,因为平移不影响协方差(translation does not affect covariance)(原文 §4.1, p.4)。这一步把 2D 不确定性变成轴对齐的 3D 不确定性。取值 [r_x, r_y, r_z] = [1, 1, 0.01](附录 D.4, p.22),论证留到第 12 章。作者的例证是 Figure 2 的 Camel 序列:缺少深度感知的不确定性时骆驼身体会不自然地收缩,本文的表述保住了它正确的形状(原文 §4.1, p.4)。
符号的来路与取值收在表 4-1。
表 4-1 式 3-1 与式 4-1 至式 4-5 的符号释义 (原文 §3 与 §4.1, p.2–p.4;另含附录 A.1 推导符号与 §4.2 图记号 · 按原文文字层,逐项未改)
| 符号 | 含义 | 出处 |
|---|---|---|
| G_t | t 时刻高斯状态 | §3, p.2(式 3-1) |
| p_t | t 时刻位置 | §3, p.2(式 3-1) |
| q_t | 四元数旋转 | §3, p.2(式 3-1) |
| s | 缩放 | §3, p.2(式 3-1) |
| α | 不透明度 | §3, p.2(式 3-1) |
| c | 颜色系数 | §3, p.2(式 3-1) |
| N_c | 颜色维度 | §3, p.2 |
| t | 帧序号 | §3, p.2 |
| T | 帧数 | §3, p.2 |
| Ω | 像素索引集 | §4.1, p.3 |
| Ω_i,t | 覆盖像素集 | §4.1, p.3(式 4-2) |
| C̄^h_t | 真值像素色 | §4.1, p.3(式 4-1) |
| C^h_t | 渲染像素色 | §4.1, p.3(式 4-1) |
| T^h_i,t | 透射率 | §4.1, p.3(式 4-1) |
| α_i | 高斯不透明度 | §4.1, p.3 |
| v^h_i | 混合权重 | 附录 A.1, p.14(式 S1) |
| c_i | 颜色参数 | §4.1, p.3 |
| N_g | 高斯数 | §4.1, p.3 |
| σ²_i,t | 颜色方差 | §4.1, p.3(式 4-2) |
| u_i,t | 标量不确定性 | §4.1, p.3(式 4-2) |
| 1_t(h) | 逐像素收敛指示 | §4.1, p.3–p.4(式 4-3) |
| 1_i,t | 聚合指示 | §4.1, p.4(式 4-4) |
| η_c | 颜色误差阈值,0.50 | §4.1, p.4;附录 D.2, p.21 |
| φ | 高不确定性常数(未给值) | §4.1, p.4 · 待核 |
| U_i,t | 各向异性不确定性 | §4.1, p.4(式 4-5) |
| U_c | 像空间对角不确定性 | §4.1, p.4(式 4-5) |
| R_wc | 相机到世界旋转 | §4.1, p.4 |
| R_wcᵀ | 转置 | §4.1, p.4 |
| r_x, r_y, r_z | 缩放因子,1, 1, 0.01 | §4.1, p.4;附录 D.4, p.22 |
| V_k, V_n | 关键、非关键节点集 | §4.2, p.4(第 5 章) |
| G = (V, E) | 场景有向图 | §4.2, p.4(第 5 章) |
| E_i | 节点边集 | §4.2, p.5(第 5 章) |
| t̂ | 最可靠帧 | §4.2, p.5(第 5 章) |
| U_w | 边构造与加权的不确定性 | §4.2–§4.3, p.5 · 待核 |
收账:三段总览出自 §4 Overview(p.2);不确定性从光度损失推出、两步修正与 Camel 例证出自 §4.1(p.3–p.4);推导链六步出自附录 A.1(p.14);η_c = 0.50 与缩放因子取值出自附录 D.2、D.4(p.21/p.22)。第 5 章处理 §4.2:把分数编码进图、选关键节点、连边。
5不确定性感知的聚合与关键挂接
第 4 章把不确定性从光度损失一路推到了逐高斯的各向异性矩阵,可那只是把每条高斯单独看的局部可靠度;高斯彼此独立地优化,时空一致性就没有着落,相邻原语的运动会互相关联,可靠的那些要能把不确定的那些锚住(原文 §4.2, p.4)。
原文明说已有的图式做法(Huang et al., 2024;Lei et al., 2025)也想抓这层关联,MoSca 引入了一张三维提升图(3D lifting graph);本篇的不同在于直接把图建在不确定性上 —— 高斯按可靠度排序、划成关键与非关键,稳定的原语驱动运动传播、模糊的被正则,图在节点选择与边连接两处都编码可靠度(原文 p.4)。整张图记作有向图 G = (V, E),节点 i 对应一条高斯 G_i,边 (i, j) 编码空间亲和与运动相似;节点依 §4.1 的 u_i,t 分成小的关键集 V_k 与大的非关键集 V_n。关键节点定义为跨时间与视角携带强运动线索的稳定高斯,非关键节点从它们的关键邻居继承运动(原文 p.4)。
关键节点怎么挑,原文走两阶段,第一道闸是候选采样走三维体素化。每帧把场景划成三维体素网格,只含高不确定高斯的体素直接丢弃,剩下可能含多条低不确定高斯的网格里每格随机取一条;这种逐格均选保证空间覆盖、降低冗余,与不要求逐格均匀的随机选择相对。它背后的假设原文写得明白:每个有意义的运动至少会在某一帧占据唯一体素,在该分辨率下分不开的运动算次要,交给非关键插值处理(原文 p.4)。
第二道闸是显著周期阈值。显著周期定义为不确定性保持低于阈值的帧数,只保留显著周期至少 5 帧的候选,好让关键节点有足够的时间支撑去可靠地参与运动估计;原文警告,时间覆盖不足的候选会把图优化弄得不稳、给出欠约束解(原文 p.4–p.5)。规模口径也在此处定下:原文维持典型的 1:49 关键/非关键比,取最自信的 top 2%(约第 1000 个);比例在 0.5%∼4% 之间做消融(附录 D.1)表现一致,2% 落在平衡覆盖与可靠性的稳定平台上。另一条脚注交代了对照组 —— 做过每帧数量相同但不要求逐格均匀的随机选择,结果空间分布不均匀,有的体素过采样、有的漏掉,这一组对应第 9 章消融表里的 (d) 项(脚注 1、2, p.4)。
边构造按关键与非关键分开做,因为两边角色不同:关键节点为运动传播提供结构锚点,非关键节点做局部外观插值。关键图要抓长程几何与运动依赖(例子是一条肢体的两端协同运动),原文说这是 local kNN(Huang et al., 2024)或全局 min–max 距离(Lei et al., 2025)这类基于距离的启发式做不到的(原文 p.5)。式 5-1 给的就是这一步。
这条式对应原文的式 (7)。UA-kNN 是 Uncertainty-Aware kNN,对关键节点 i,邻居只在其余低不确定的关键节点里选,评估发生在它最可靠的那一帧 t̂ = argmin_t{u_i,t},距离用不确定性加权:两点的位置之差乘上两个节点各自的 U_w 之和。这里用的是马氏度量,它给高不确定方向加权,于是边要同时满足两条 —— 空间上近、双方都可靠。原文补了一句衔接,这些边随后会被关键图损失进一步剪枝,用来增强鲁棒性、防止虚假的长程连接,那一步落到第 6 章(原文 p.5)。权重要按不确定性来定,账在度量上:换回纯距离,边会无视节点可靠度,把不稳的原语也连进来,这正是消融里 (b) 项要考的(原文 p.9)。k 的取值原文没有给数,正文只写符号。
非关键节点走另一条支路,它要解决的是不确定的高斯自己说不清往哪动这件事。式 5-2 把它跨整个序列挂到最近的关键节点上。
这条式对应原文的式 (8)。判据是让非关键节点 i 与候选关键节点 l 之间的加权距离在整段时间上求和后取最小,选出的 j 就是它的锚,随后连边 E_i = E_j ∪ {j}。原文的直觉说法是,每个不确定的非关键节点被挂到「时间上一直离它最近」的最可靠关键节点上,于是它的运动能被稳定锚点正则、保住一致(原文 p.5)。这条判据为什么要在整段时间上求和,读法可以这样落:逐帧各挑一个最近关键节点会让挂接关系抖动,对整段轨迹求最小则要求这个锚在时间上一直靠得住。式 5-2 选出的 j 不只是一条边,它还决定第 6 章里 DQB 插值的邻居集合 E_i,两章在这里首尾相接。
两种情形合起来,UA-kNN 保证边由可靠节点锚定,促进稳定的运动传播、防止从不确实区域漂走(原文 p.5)。关键节点的两道闸、关键图的式 5-1、非关键挂接的式 5-2,连同 top 2% 与显著周期至少 5 帧这两处取值,都能回原文 §4.2 与脚注 1、2 核(p.4–p.5)。
6损失与优化:关键项与去噪桥
第 5 章把边建在了不确定性上,关键节点有了结构锚点、非关键节点有了挂接对象;到了优化这一步还要把不确定性写进目标函数(原文 §4.3, p.5)。
vanilla 优化在遮挡或极端视角下常失败,原因原文说得很直:不可靠的原语被和可靠的原语一样强地优化,于是漂移。办法是把不确定性纳入目标 —— 观测稳定的关键节点当锚点,非关键节点通过插值被更柔和地正则;两类节点各配一个目标,最后统一进总损失(原文 p.5)。式 6-1 是给关键节点的那一项。
这条式对应原文的式 (9)。它把关键节点每个时刻的位置拉向自己的预训练位置,拉法用 U_w,t,i 的逆做加权的范数,它给高不确定方向降权,让运动主要沿可靠轴被修正。上标 o 表示参数来自预训练的高斯模型,在本篇的不确定性感知优化之前作初始化。第二项 L_motion,key 用等距、刚性、相对旋转、速度、加速度五类约束正则时序演化(附录 A.2, p.5)。加权为什么能把修正限制在可靠轴上,把平方项按二次型摊开就清楚:高不确定方向的 U 大、U⁻¹ 小,该方向的偏差被弱惩罚,高斯因此动得动;可靠方向的 U 小、U⁻¹ 大,偏差被重罚,位置就被钉住(原文 p.5)。
非关键节点那一侧多了一座桥,式 6-2 给出它:非关键节点的位置与旋转由邻近关键节点用对偶四元数混合(Dual Quaternion Blending, DQB;Kavan et al., 2007)插值得到。
这条式对应原文的式 (10)。w_ij 是归一化边权,T_j,t ∈ SE(3) 是关键节点 j 的变换,p^DQB 与 q^DQB 是插值得到的位置与旋转;原文说 DQB 通过混合邻居提供平滑运动(原文 p.5)。它在本篇里的作用是:非关键节点不确定性高,直接拟合观测会漂,由关键节点那一侧插出一条参考轨迹,等于给这些高斯一个可跟随的骨架,骨架的邻居集合正是第 5 章式 5-2 挂出来的 E_i;w_ij 的归一化方式原文未给,只写符号。
拿到 DQB 轨迹后,式 6-3 把非关键节点的约束写成两截。
这条式对应原文的式 (11),原文是行尾编号。两截都用 U_w 的逆加权:第一截把非关键节点的位置拉向预训练位置 p^o,防它离开初始化太远;第二截把它拉向 p^DQB,让它与从可靠关键节点传播来的运动对齐(原文 p.5)。两条都要的理由各占一半:只贴预训练,节点会停在错的先验上,插值骨架白搭;只贴 DQB,一旦骨架本身被错的先验带偏,节点会被一起拖走。第三项 L_motion,non-key 同样见附录 A.2(p.15)。
三块相加成总损失。
这条式对应原文的式 (12),落在 p6、§5 Experiments 之前。总损失是 L_rgb、L_key 与 L_non-key 三块之和。权重口径要交代清楚:原文没有给这三块配标量系数,相对强弱靠 U⁻¹ 加权与 DQB 这两处机制来定;带显式权重的只有 L_motion 内部的五项,等距与刚性取 1、相对旋转、速度、加速度取 0.01(附录 A.2.1, p.15)。L_rgb 是感知损失,除了 RGB ℓ1 与 SSIM 的标准组合,还并入了 mask、depth、depth gradient、tracking 四项 2D 先验损失;原文强调这四项是各基座继承来的标准部件、不属于本篇方法的组成部分(附录 A.2.2, p.15)。
不确定性在这套框架里的用途,原文在 p6 收成三条:给关键节点的偏差重新加权、指导非关键节点的插值、平衡二者在总损失里的影响(原文 p.6)。流程写成伪码之前,先把四条前提摆清楚。
前提 1:基座是预训练好的动态高斯模型(SoM 或 MoSca),它输出的 4D 高斯原语被转成统一表示;选关键高斯时统一空间体积,并对关键节点选择与边构造用的不确定性阈值做归一化(附录 B.1, p.16)。
前提 2:第一阶段只做图初始化 —— 估 u_i,t、选关键节点(体素均选 + 显著周期至少 5 帧,top 2%)、建 UA-kNN 关键图、挂接非关键节点;不算损失,只建结构。
前提 3:第二阶段做不确定性感知优化 —— 冻结基座,只更新可训练的位置 p_i,t;非关键节点的目标位置由 DQB 给出,U_w 一律按原文用 U⁻¹ 加权。
前提 4:推理时不再重训基座;原文没有给额外的后处理或融合步骤,本伪码到此为止。
// 输入:单目视频;基座 SoM 或 MoSca 的预训练 4D 高斯 {G_i}
// 第一阶段:图初始化(§4.2,不算损失)
估 u_i,t ← 式 4-1 到式 4-4(光度损失 → 闭式方差 → 收敛指示 → 标量不确定性)
估 U_i,t ← 式 4-5(只靠旋转传播到各向异性矩阵)
关键节点 V_k ← 三维体素均选 + 显著周期≥5 帧,取最自信的 top 2%
关键图边 E_i ← UA-kNN(式 5-1,在 t̂ 上按 U_w 加权取近邻)
for 每个非关键节点 i:
j ← 整段序列上加权距离最小的关键节点(式 5-2)
E_i ← E_j ∪ {j}
// 第二阶段:不确定性感知优化(§4.3,追加迭代数见第 7 章)
for iter in 1 .. 追加迭代数:
由 E_i 做 DQB 插值,得 p^DQB、q^DQB(式 6-2)
算 L_rgb(RGB ℓ1 + SSIM + 基座继承的 2D 先验项)
算 L_key(式 6-1,位置项按 U⁻¹ 加权)与 L_non-key(式 6-3,双截 U⁻¹ 加权)
L_total ← L_rgb + L_key + L_non-key(式 6-4)
冻结基座,只更新 p_i,t
这套目标的可核之处:关键项写成式 6-1、插值桥写成式 6-2、非关键项写成式 6-3、总损失写成式 6-4,三块不加外层系数,带显式权重的只有运动项的五项,2D 先验四项不计入本篇贡献。出处是原文 §4.3(p.5–p.6)与附录 A.2.1/A.2.2(p.15)。
7实现与评测设定
第 6 章把总损失与两阶段流程摆平,模型能训起来之后,接下来要把评测的口径交代清楚,因为后面每一格读数都受这些设定限定(原文 §5.1, p.6–p.7)。
原文 §5.1 用了三套数据,分工不同。DyCheck(Gao et al., 2022)按前人(Wang et al., 2025a;Lei et al., 2025;Stearns et al., 2024)的做法在 7 个场景加验证视角上评;因为这些验证视角靠近输入视角,原文另外采样极端新视角做定性分析(原文 p.6–p.7)。表 8-1 的两套设置正是这里的口径:5 个场景在 1× 分辨率、7 个场景在 2× 分辨率,跟随既有协议;附录 C.6 把这套主定量口径称作 DyCheck-iPhone 数据集(原文 Table 1, p.7;附录 C.6, p.19)。
DAVIS(Perazzi et al., 2016)用来测跨场景泛化,这些单目视频覆盖非刚性运动、遮挡与复杂动态,因为没有真值几何,只做定性评估(原文 p.7)。Objaverse(Deitke et al., 2023)是自建合成基准,用来压极端视角:原文从中挑 6 个纹理与运动都有挑战的铰接物体,相机绕物体走 121 帧的圆轨迹、每步 3°、始终朝向物体;验证视角取水平角偏移 30°–330°、每 30° 一档、固定仰角 35°,为的是从多视角抓物体的三维结构(原文 p.7)。造这套基准的理由写在脚注 3:现有基准在极端新视角上缺真值,系统性评测困难(原文 p.7)。
细节落在附录 C.4。数据源是 Objaverse-1.0,每个场景是单物体加一个或多个动画标签、默认用第一个;每个视角渲染 121 帧,因为 Objaverse 的动画总帧数通常少于 121,用 zigzag 方式循环动画帧以保持运动连续;12 台相机以 30° 水平间隔均匀环绕、沿逆时针圆轨迹每帧 3° 移动;每帧用 Blender 渲染 RGB、depth、mask 并记录内外参当真值;实验里用 12 条单目视频中的 1 条作输入,其余 11 条评三个角区间的渲染质量(附录 C.4, p.18)。这 6 个物体在附录表 S4 里逐场景列出,名字是 Chick、Panda、Woman、Rat、Doctor 与 Angry Bird(附录表 S4, p.19)。除这三套,附录 C 另在 NVIDIA(Yoon et al., 2020)与 HyperNeRF(Park et al., 2021)上做了对照,NVIDIA 跟随 RoDynRF(Liu et al., 2023)的评测管线、只报 MoSca 与 MoSca + G2DSplat 两行(26.77/0.854/0.07 与 26.93/0.855/0.07),HyperNeRF 则与 4DGS 做定性对比(附录表 S5、图 S2, p.19–p.20)。
对手这一侧,原文取 SOTA 动态高斯方法做主基座,选 SoM 与 MoSca —— SoM 是本领域被广泛采用的标准,MoSca 代表当前 SOTA;原文强调框架对底层架构不可知,兼容任何估计逐高斯运动的方法(原文 p.7)。额外基线与实现细节见附录 B。
公平口径写在附录 B.1。先把 SoM/MoSca 的输出转成本篇所需的数据结构,抽出 4D 高斯原语 {G_i} 重排成统一表示;为缓解高斯尺度与分布的不一致,选关键高斯时统一空间体积、并对关键节点选择与边构造用的不确定性阈值做归一化,以保证跨基座行为一致。由于本篇是在预训练 SoM/MoSca 之上追加优化,原文为公平比较,继续用与基线相同的追加迭代数训练原始 SoM/MoSca(附录 B.1, p.16)。训练日程照附录 B.2:SoM 追加 400 epochs、MoSca 追加 1600 steps,batch size 统一取 8;这两套日程是经验选择,为的是收敛良好并与各自基座的优化流程对齐;训练时长的前 10% 与后 20% 关闭 density control 与 opacity reset 保稳定,其余迭代开启以提画质;每 epoch/每 step 的训练时间与 SoM/MoSca 相当(附录 B.2, p.16)。
评测指标这一侧,DyCheck 表用 mPSNR、mSSIM 与 mLPIPS 三项,Objaverse 表按角区间报 PSNR、SSIM 与 LPIPS;m 前缀对应跨场景的均值,这与原文「5 scenes/7 scenes」那套口径相合(原文 Table 1, p.7)。三项的方向由表头箭头给出:PSNR 与 SSIM 越大越好、LPIPS 越小越好。这三项都是新视角合成的标准指标,原文没有给它们的定义式;按通行含义,PSNR 量峰值信噪比、SSIM 量结构相似度、LPIPS 量学到的感知距离,三者的定义式原文未给,属待核一栏。跟随 MoSca 与 SoM 的评测协议,附录 C.2 另报了三维关键点跟踪的 PCK@(5%, 5cm, 10cm) 与 EPE,方向同样是 PCK 越大越好、EPE 越小越好(附录 C.2, p.16)。
硬件与耗时单记。原文的运行时分析全部在单张 NVIDIA H100 上测:不确定性估计这一步因为渲染速度超过 60 FPS,开销可忽略;图构建约 3 秒/图,DyCheck 典型输入 200 张,合计约 10 分钟(DAVIS 是 50∼90 帧);训练约 4 秒/图,200 张输入约 13 分钟(附录 D.5, p.22)。原文并说明方法不需要一个完全优化好的基座模型,表 S10 给了成本效益对照:MoSca 基线 19.32/0.706/0.264,本篇同时间档 19.41/0.710/0.254、完整时间档 19.63/0.715/0.249;同时间档这一行说明即使把训练预算压到与 MoSca 相同,本篇仍高于 MoSca(本站按表现算 +0.09 dB)(附录表 S10, p.22)。
口径都能回原文核:DyCheck 的 7 场景与两套分辨率、Objaverse 的 6 物体与 12 台相机、SoM +400 epochs 与 MoSca +1600 steps 的追加预算、以及 H100 上的三段耗时,分别写在原文 §5.1 与附录 B.1/B.2/C.4/D.5(p.6–p.7、p.16、p.18、p.22)。
8主结果
第 7 章把口径定妥,总账随后摊开:DyCheck 两套设置、Objaverse 三个角区间(原文 §5.2, p.7–p.8)。
DyCheck 的定量结果在表 8-1,分两套设置。5 scenes 1 × resolution 里,本篇 16.85/0.650/0.38 压过 SoM 的 16.72/0.630/0.45;7 scenes 2 × resolution 里,本篇 19.63/0.716/0.25 超过 MoSca 的 19.32/0.706/0.26。表里的 – 是原文自带的空值,照写不补。
表 8-1 DyCheck 上的定量结果 (原文 Table 1, p.7 · 数值取原文文字层,逐格未改)
| Setting | Method | mPSNR↑ | mSSIM↑ | mLPIPS↓ |
|---|---|---|---|---|
| 5 scenes 1 × resolution | SC-GS (Huang et al., 2024) | 14.13 | 0.477 | 0.49 |
| 5 scenes 1 × resolution | Deformable 3DGS (Yang et al., 2024c) | 11.92 | 0.490 | 0.66 |
| 5 scenes 1 × resolution | 4DGS (Wu et al., 2024) | 13.42 | 0.490 | 0.56 |
| 5 scenes 1 × resolution | MoDec-GS (Kwak et al., 2025) | 15.01 | 0.493 | 0.44 |
| 5 scenes 1 × resolution | MoBlender (Zhang et al., 2025) | 16.79 | 0.650 | 0.37 |
| 5 scenes 1 × resolution | SoM (Wang et al., 2025a) | 16.72 | 0.630 | 0.45 |
| 5 scenes 1 × resolution | USPLAT4D (ours) | 16.85 | 0.650 | 0.38 |
| 7 scenes 2 × resolution | Dynamic Gaussians (Luiten et al., 2024) | 7.29 | – | 0.69 |
| 7 scenes 2 × resolution | 4DGS (Wu et al., 2024) | 13.64 | – | 0.43 |
| 7 scenes 2 × resolution | Gaussian Marbles (Stearns et al., 2024) | 16.72 | – | 0.41 |
| 7 scenes 2 × resolution | MoSca (Lei et al., 2025) | 19.32 | 0.706 | 0.26 |
| 7 scenes 2 × resolution | USPLAT4D (ours) | 19.63 | 0.716 | 0.25 |
第一处口径在表 8-1 的表注上。表注写 USPLAT4D consistently outperforms state-of-the-art Gaussian Splatting based methods;按表体现算,5 scenes 1 × resolution 里 MoBlender 的 mLPIPS 是 0.37,优于本篇的 0.38,同一行 mPSNR 16.79 低于本篇的 16.85、mSSIM 0.650 相等。该句对 SoM 与 MoSca 成立,落到 MoBlender 的 LPIPS 这一格上不成立;本站如实并列,不替作者判定 MoBlender 是否算表注所指的那一批方法(原文 p.7)。
复算按表内值相减,原文未给差值。5 scenes 1 × resolution 里,对 MoBlender 是 16.85 − 16.79 = 0.06 dB,对 SoM 是 16.85 − 16.72 = 0.13 dB,mLPIPS 一侧是 0.38 − 0.37 = 0.01、本篇落后。7 scenes 2 × resolution 里,对 MoSca 是 19.63 − 19.32 = 0.31 dB,mSSIM 是 0.716 − 0.706 = 0.010,mLPIPS 是 0.26 − 0.25 = 0.01、本篇更好。原文还有一处自我限定:表 8-1 是验证视角上的结果,接近输入轨迹、相对容易,更显著的提升在极端新视角(Figure 4),那部分不在表 8-1 里(原文 p.8)。
表 8-1 讲的是靠近输入的验证视角,原文因此另采极端视角;图 8-2 那一类用红色相机标出、没有真值几何,只做定性对照、不配数值(原文 Figure 4, p.6)。
DyCheck 之外,原文在选出的 DAVIS 单目视频上评,这批视频含快速运动、形变与自遮挡,只做定性比较。图 8-3 里每个案例给出输入视角渲染,并让基线与红色标注的极端新视角对照,原文的结论是本篇在困难条件下给出更清晰的 4D 重建,基座常出现畸变、模糊或伪影(原文 Figure 5, p.7)。
最后一套是 Objaverse 上的三个角区间,读数在表 8-2。原文的结论句是,本篇三个区间一致超过 SoM 与 MoSca,增益在大偏移 (120°, 180°] 下最明显(原文 Table 2, p.8)。要读的四行是 SoM、MoSca 与承接两行的各一行,承 SoM 一侧是 16.63/0.866/0.27、16.57/0.868/0.27、17.03/0.872/0.26,承 MoSca 一侧是 16.22/0.885/0.22、15.98/0.884/0.23、16.31/0.886/0.21;基线读数在表内,不重述。
表 8-2 Objaverse 上的结果(按水平视角区间分组) (原文 Table 2, p.8 · 数值取原文文字层,逐格未改)
| Method | (0◦, 60◦] PSNR↑ | (0◦, 60◦] SSIM↑ | (0◦, 60◦] LPIPS↓ | (60◦, 120◦] PSNR↑ | (60◦, 120◦] SSIM↑ | (60◦, 120◦] LPIPS↓ | (120◦, 180◦] PSNR↑ | (120◦, 180◦] SSIM↑ | (120◦, 180◦] LPIPS↓ |
|---|---|---|---|---|---|---|---|---|---|
| SoM | 16.09 | 0.860 | 0.31 | 15.58 | 0.854 | 0.32 | 16.45 | 0.858 | 0.31 |
| USPLAT4D(承 SoM) | 16.63 | 0.866 | 0.27 | 16.57 | 0.868 | 0.27 | 17.03 | 0.872 | 0.26 |
| MoSca | 16.18 | 0.881 | 0.24 | 15.74 | 0.875 | 0.25 | 15.89 | 0.876 | 0.25 |
| USPLAT4D(承 MoSca) | 16.22 | 0.885 | 0.22 | 15.98 | 0.884 | 0.23 | 16.31 | 0.886 | 0.21 |
第二处是表 8-2 的连写格式:原文这两行的每个数值格里,读数之后还印了一个同格小字号的相对增益,文字层将两者连写(例如 16.63.55、0.866.007、15.98.24);本站按「前段读数、后段增益」拆开后,18 个增益里 12 个能由「读数 − 同行基线」复原,6 个对不上,最扎眼的是 (60°, 120°] 的 PSNR —— 读数差 16.57 − 15.58 = 0.99,连写却作 09,其余 5 格都差末位一个单位。本站不采信这 18 个增益,只引读数;这 6 格需人工过图复核,本轮裁图只到表头,无法核对(原文 Table 2, p.8)。
第三处是跨表分歧。表 8-2 与附录表 S4 的逐场景结果相比时,S4 没有 Mean 行,均值是本站按六场景(Chick/Panda/Woman/Rat/Doctor/Angry Bird)现算的算术平均;36 格里 29 格差不超过 0.007,7 格差在 0.008 到 0.175 之间,最大一处是 USPLAT4D(承 MoSca)在 (60°, 120°] 的 PSNR,表 8-2 报 15.98、S4 均值 15.805,差 0.175;同格连写增益 .24 与 15.98 自洽,另有 MoSca 三个区间的 PSNR 在 S4 均值里一律比表 8-2 低 0.04 到 0.06。本站并列读数,不替作者归因(附录表 S4, p.19)。
复算按表 8-2 的值相减,原文未给差值。对 SoM 一侧是 +0.54/+0.99/+0.58(16.63 − 16.09、16.57 − 15.58、17.03 − 16.45),对 MoSca 一侧是 +0.04/+0.24/+0.42(16.22 − 16.18、15.98 − 15.74、16.31 − 15.89)。对 MoSca 一侧单调递增,与「偏移越大增益越明显」相合;对 SoM 一侧的最大差值落在中段 (60°, 120°] 的 0.99,与那句话并不完全一致(本站按表现算)。图 8-4 是它的定性印证(原文 §5.2, p.8)。
两套账收在一处:DyCheck 上对 MoBlender 是 +0.06 dB、对 SoM 是 +0.13 dB(mLPIPS 落后 0.01),对 MoSca 是 +0.31 dB;Objaverse 上对 SoM 是 +0.54/+0.99/+0.58 dB、对 MoSca 是 +0.04/+0.24/+0.42 dB。读数取原文 Table 1(p.7)与 Table 2(p.8),定性结论取 Figure 3 至 Figure 6(p.6–p.8),差值均为本站按表现算。
9消融与不确定性到底带来了什么
第 8 章把三套数据上的主账摊开,读到的增益都发生在靠近输入视角的验证视角上。接下来把 USPLAT4D 的部件逐个拆下来定价,看的是去掉哪一件会让账目掉得最多。这一组消融用 MoSca 作基座、在 DyCheck 验证集上评(原文 §5.3, p9),动的是图的初始化策略,以及建图与优化中对不确定性线索的使用。表 9-1 是右栏的一张半栏表,五种设置、三列指标,完整模型那一行是后面所有差值的基准。
表 9-1 不确定性与关键节点选择的消融 (原文 Table 3, p.9 · 数值取原文文字层,逐格未改)
Ablation Setting 是原文的列名(原文排成 Ablation/Setting 两个词),本表按语义合成一列名。| Ablation Setting | PSNR↑ | SSIM↑ | LPIPS↓ |
|---|---|---|---|
| USPLAT4D (full model) | 19.63 | 0.716 | 0.25 |
| (a) w/o key node uncertainty | 18.86 | 0.688 | 0.28 |
| (b) w/o UA-kNN | 19.50 | 0.711 | 0.26 |
| (c) w/o loss weighting | 19.08 | 0.681 | 0.25 |
| (d) w/o 3D gridization | 19.50 | 0.712 | 0.25 |
四档逐条读下来,每一档都指向第 4 到第 6 章里的一处设计。(a) 把不确定性从关键节点选择里去掉、换成均匀 2D 采样,图不再能强调受良好约束的高斯,锚点因此不稳、运动传播退化;本站按表 9-1 对完整模型复算,PSNR 19.63 − 18.86 = 0.77 dB,SSIM 0.716 − 0.688 = 0.028,LPIPS 从 0.25 退到 0.28(差 0.03)。(b) 把 UA-kNN 换成只看距离的 kNN,边会无视节点可靠性、误连不稳原语,图的连通性随之变弱;PSNR 19.63 − 19.50 = 0.13 dB,SSIM 掉 0.005,LPIPS 差 0.01。(c) 训练损失里去掉不确定性加权(即 DQB 损失上不加 U),不可靠高斯被和可靠高斯一样激进地更新,跨帧漂移被放大、PSNR 与 SSIM 双双下滑;PSNR 19.63 − 19.08 = 0.55 dB,SSIM 0.716 − 0.681 = 0.035,而 LPIPS 0.25 与完整模型完全相同。(d) 把候选采样从 3D 体素网格换成空间随机采样,非均匀的空间分布既不保证足够覆盖、也避不开冗余样本;PSNR 19.63 − 19.50 = 0.13 dB,SSIM 掉 0.004,LPIPS 不变。四处差值都是本站按表 9-1 现算,原文只给读数、没有给差值。
把四档摆到一起,四处的分量并不均匀。(a) 去掉关键节点选择里的不确定性,三个指标同时退,PSNR 的 0.77 dB 是四档最大的一笔,LPIPS 也是唯一退到 0.28 的一档;(c) 去掉损失加权,掉下来的几乎全是 PSNR 与 SSIM(0.55 dB、0.035),LPIPS 一格不动,说明这条路径主要作用在几何与结构上,对纹理细节的分辨力不敏感。相比之下 (b) 与 (d) 各只掉 0.13 dB,SSIM 动 0.004 到 0.005、LPIPS 动 0.01 或不动,属小账。两笔大账都落在不确定性这个量上:一处问「谁来当锚点」,一处问「谁被多强地更新」。消融项与部件的对应也一并钉住:UA-kNN 就是式 5-1,loss weighting 是式 6-1 与式 6-3 里的 U⁻¹ 加权,3D gridization 是 §4.2 关键节点选择的第 1 阶段,key node uncertainty 是 §4.1 里的 u_i,t。
原文在 §5.3 末另补了一条能力分析:模型天然支持多物体,并会按运动把高斯分组 —— 关键图与非关键图里,实例级运动相似的节点强连接,不同实例之间弱连接(甚至没有)。图 9-1(Figure 7, p9)把关键图的权重矩阵(定义在附录 A.2.1)画了出来,用标准社群检测(如谱聚类,Von Luxburg, 2007)重排节点之后,矩阵近似块对角,不同对角块之间不共享权重,块间因此没有连接;把关键节点聚类之后,非关键节点再按它们的图连接归入同一运动组,每个高斯得到一个标签,于是当物体运动不同时,这套分割与实例分割加动态跟踪高度吻合。
这张图很扁(约 408.2 × 79.7 pt),正文按通栏小高度摆放,不纵向拉伸,也不从色块上读数;它承担的是「图天生会把运动相似的高斯聚成实例块」这条观察,与实例分割加动态跟踪的吻合是原文的结论句,画面本身不产出数值。这两笔账与这张图的出处都在原文 §5.3 与同节的 Further analysis(p9),表在 Table 3、图在 Figure 7;附录 D 另有 key/non-key 比例、颜色阈值、显著周期阈值与缩放因子四组消融,以及时间复杂度的讨论,留到第 12 章与成本一并收。
10附录里的补充实验:NeRF 对照、跟踪增益与逐场景
第 9 章把部件定了价,本章把正文表格之外的那批账补上:NeRF 对照、跟踪增益与逐场景明细。附录 C 开篇交代动机(原文 p16):正文表 8-1 只比高斯类方法,这里补上 Miao et al. (2024)、Park et al. (2021)、Gao et al. (2022)、Li et al. (2023)、Sun et al. (2024a)、Kappel et al. (2025)、Zhao et al. (2024) 这批隐式神经辐射场方法,结论是它们对静态或轻度动态场景有效,但在 DyCheck 上高斯类方法一致更好。表 S1(p17)里,5 scenes 1 × resolution 一栏 NeRF 类最高是 HyperNeRF 15.99/0.59/0.51,另有 DynIBaR 13.41/0.48/0.55、T-NeRF 15.6/0.55/0.55,HiMoR 只报 mLPIPS 0.46;7 scenes 2 × resolution 一栏的 PSNR 落在 D-NPC 16.41、PGDVS 15.88 到 DyBluRF 17.37、CTNeRF 17.69 之间,都低于同设置高斯类的 16.85 与 19.63。表注另写一句 Best results are in bold, second-best are underlined。
跟踪这一节(附录 C.2,p17)跟随 MoSca 与 SoM 的评测协议,报 PCK@(5%, 5cm, 10cm) 与 EPE,读数都在表 S2 里。接在 MoSca 上,PCK@5% 从 82.4 升到 84.5;接在 SoM 上,EPE 从 0.082 降到 0.072、PCK@5cm 从 43.0 升到 54.4、PCK@10cm 从 73.3 升到 75.8。原文把最后那一项写成 improving PCK@5cm by over 11.4%,本站按表 S2 对读,54.4 − 43.0 = 11.4 是绝对差、即 11.4 个百分点,换算成相对提升是 11.4 ÷ 43.0 ≈ 26.5%(本站核算,原文按前一种口径写)。原文的结论句把跟踪也算进收益:不确定性感知的图构建改善了动态物体跟踪的时空一致性,不止于视觉质量。
逐场景那批(附录 C.3,p18,表 S3)把表 8-1 的汇总拆到场景,表注有一句要原样带上:带 ⋆ 的行是 results reproduced by us,因为表 8-1 里的原始数字直接取自 SoM 与 MoSca 的论文,训练差异可能造成小出入;表注还提醒 DyCheck 的验证视角靠近训练视角,观察到的提升不能完全反映 USPLAT4D 在极端新视角上的优势。跨表对照的分歧由第 8 章列过,这里补一点:S3 里 4DGS 与 Gaussian Marbles 两行给出 SSIM(0.428 与 0.418),表 8-1 在同一处写 –;引用前先说明用的是哪一张表。
数据构造这一节(附录 C.4,p18)是 Objaverse 基准的说明书。数据源是 Objaverse-1.0(Deitke et al., 2023),每个场景是单物体加一个或多个动画标签,默认用第一个;每个视角渲染 121 帧,动画总帧数不足时用 zigzag 循环以保持运动连续性;12 台相机以 30° 水平间隔环绕,沿逆时针圆轨迹每帧 3° 移动;每帧用 Blender 渲染 RGB、depth 与 mask 并把内外参记为真值。实验取 12 条单目视频中的 1 条作输入,其余 11 条评三个角区间。逐场景结果在表 S4(p19),原文结论是 LPIPS 在所有角区间与场景上都不差于 SoM 与 MoSca,PSNR 与 SSIM 在多数区间与场景上更优。NVIDIA(表 S5, p19)上 MoSca 是 26.77/0.854/0.07、MoSca 加 G2DSplat 是 26.93/0.855/0.07,原话说增益是 marginal,因为这类数据集的输入视角运动更有限,而相机运动更大或动态更难的 DyCheck 与 Objaverse 受益更多。HyperNeRF 上另有与 4DGS 的定性对照(附录 C.7,p20,图 S2),结论是 USPLAT4D 恢复更细的高频结构与几何,4DGS 倾向过平滑或丢掉小的几何部件;图 S2 面板内的 PSNR、SSIM、LPIPS 属图内标注、未取图元,正文不引用。
复现要用到的推导与损失在附录 A(p14–p15)。不确定性那条链从体积渲染的颜色混合起步:把渲染色写成 C^h = Σ_i T^h_i α_i c_i,混合权重记作 v^h_i := T^h_i α_i(附录式 S1),在 RGB ℓ2 损失下用最大似然估计求颜色闭式(附录式 S2);对第 k 个高斯的 c_k 求梯度、用 b^h_k := C̄^h − Σ v^h_j c_j(j ≠ k)隔离它的贡献,得 ∂L/∂c_k = −Σ 2(b^h_k − v^h_k c_k) v^h_k(附录式 S3);设局部极小、令其为零(附录式 S4),解出 c_k(附录式 S5);再设 b^h_k 服从均值 v^h_k c̄_k、方差 ε² 的正态分布,在 ε² = 1 下得 σ²_k 等于(Σ (v^h_k)²)取 −1 次幂(附录式 S6),即正文式 4-2。每步假设都有代价:局部极小不处处成立,要加逐像素收敛指示(正文式 4-3 的 η_c);标量隐含各向同性,要改由相机旋转传播成 3D 各向异性(正文式 4-5)。运动损失五项在附录 A.2.1:等距 L_iso(附录式 S8)、刚性 L_rigid(附录式 S9,Δ 是时间间隔、w_ij 越大这一对越刚)、相对旋转 L_rot(附录式 S10)、速度 L_vel(附录式 S11)与加速度 L_acc(附录式 S12)逐项给出,合起来是 L_motion = λ_iso L_iso + λ_rigid L_rigid + λ_rot L_rot + λ_vel L_vel + λ_acc L_acc(附录式 S13),其中 λ_iso 与 λ_rigid 取 1、λ_rot、λ_vel、λ_acc 取 0.01(原文 p15)。感知损失 L_rgb(附录 A.2.2)是 RGB ℓ1 与 SSIM 的标准组合,跟随基座并入了 mask、depth、depth gradient 与 tracking 四项 2D 先验损失;原文强调这些额外项属于从基座继承的标准部件、为的是训练行为一致,并不构成本篇方法的组成部分,复现时不能算成本篇贡献。
B.1 与 B.2 是实现侧的必带项(附录 B,p16)。先把 SoM 与 MoSca 的输出抽出 4D 高斯原语、重排成统一表示;为缓解高斯尺度与分布的不一致,选关键高斯时统一空间体积,并归一化关键节点选择与边构造用的不确定性阈值。因为是在预训练基座之上追加优化,为公平比较继续用与基线相同的追加迭代数训练原始 SoM 与 MoSca。训练口径是:SoM 追加 400 epochs、MoSca 追加 1600 steps,batch size 取 8;训练时长的前 10% 与后 20% 关闭 density control 与 opacity reset,其余迭代开启;每 epoch 与每 step 的训练时间与基座相当。附录 D 另给四组超参:key/non-key 比例默认 top 2%(约第 1000 个,1:49),颜色阈值 η_c = 0.50([0.4, 0.8] 之间是一条宽平台),显著周期阈值 SPT = 5,缩放因子 [r_x, r_y, r_z] = [1, 1, 0.01]。仍缺的数有四样,正文只写符号、不替作者填:式 4-4 的大常数 φ,UA-kNN 的 k,3D 体素网格的分辨率,DQB 的边权 w_ij 归一化方式。
以上读数与口径都在原文附录 A(p14–p15)、B(p16)、C(p16–p20)与 Table S1、S2、S3、S4、S5 上;附录的 S 系列图与表未取图元,正文只作行内引用并标页,不另立表块。第 11 章接着把这些量本身读一遍。
11把不确定性读成几何与时序上的证据
第 10 章把附录的账与复现口径摆完,接下来把这个框架里最核心的量本身拆开,看它在深度、可见性与时序三处各留下了什么。
深度这一处的问题,原文在 §4.1 里点得很直接(p4):标量不确定性的定义隐含「不确定性在 3D 里各向同性」,而单目下深度远比像平面坐标不可靠,统一标量会沿相机轴过度自信(over-confident along the camera axis),结果就是几何畸变。解法是把像空间误差传播进 3D,给每个高斯一个各向异性矩阵 U_i,t = R_wc U_c R_wcᵀ,其中 U_c = diag(r_x u_i,t, r_y u_i,t, r_z u_i,t),R_wc 是相机到世界的旋转,r_x、r_y、r_z 是轴对齐缩放因子;原文特别说明只有旋转参与传播,因为平移不影响协方差。这一步把 2D 不确定性变成轴对齐的 3D 不确定性,同时纳入相机位姿与深度方向的敏感性。例证是图 4-1 里的 Camel 序列(也见补充视频):没有深度感知不确定性时骆驼的身体会不自然地收缩,改用这套表述后保住了它正确的形状。这段画面不读值。
缩放因子的取值是 [r_x, r_y, r_z] = [1, 1, 0.01],理由在附录 D.4(p22)。原文的核心洞察是深度的可靠程度随相机运动而变:相机在 x–y 平面大幅平移时,深度被约束得更好,此时给深度分量降权(用更小的 r_z)能降低不确定性估计里的噪声;这个直觉与 Direct Sparse Odometry(Engel et al., 2017)里 ΔZ 与相机基线 b 成反比(ΔZ ∝ 1/b)的几何模型一致。原文给的设计原则是,默认 [1, 1, 1] 有效,一旦相机运动在方向上不平衡,调权重就能提升鲁棒性;沿深度轴运动有限、以旋转或小位移为主的数据集(DyCheck、DAVIS、NVIDIA)用更小的 r_z 提升不确定性估计的稳定性,而在相机三个方向都移动的 Objaverse 上,r_z 从 1.0 改到 0.01 影响极小。表 S9(p22)是相对值:以 r_z = 1.00 为参考行(1.001/1.000/1.000),r_z = 0.01 那行为 1.001/0.999/1.005,MoSca 基线为 0.989/0.992/1.100。
可见性这一处写进了不确定性的定义本身。由光度损失的最大似然估计得闭式方差 σ²_i,t 等于(Σ (T^h_i,t α_i)²)取 −1 次幂,Ω_i,t 是该高斯贡献到的像素集合,所以观测越多、α 混合权重 T^h_i,t α_i 越大,方差越小、不确定性越低;聚合指示 1_i,t 再要求它覆盖到的像素全部收敛(逐像素判据为 ‖C̄^h_t − C^h_t‖₁ < η_c),否则赋大常数 φ,把未收敛或支撑差的高斯直接标成高不确定性。原文对这一段的解读原话是,观测支撑好的高斯拿到低 u、反映高可靠,不可靠的被赋高值,从而让可信原语在优化里引导模糊原语。可见性在时间上的对应物,是 §4.2 关键节点选择第 2 步里的显著周期 —— 定义为「不确定性保持低于阈值的帧数」,只保留显著周期 ≥ 5 帧的候选,原文警告时间覆盖不足的候选会 destabilize 图优化、给出欠约束解(p4–p5)。
时序一致性这条线在图与损失两处同时落地。图侧,式 5-1 的 UA-kNN 只在其他低不确定的关键节点里挑邻居,评估发生在它最可靠的那一帧 t̂ = argmin_t u_i,t,距离用不确定性加权;式 5-2 把每个非关键节点跨整个序列挂到最近的关键节点,原文的直觉是每个不确定的非关键节点被挂到时间上一直离它最近的最可靠关键节点上,于是它的运动能被稳定锚点正则。损失侧,式 6-1 与式 6-3 用 U⁻¹ 加权,把贴住预训练位置这件事限制在可靠方向上,非关键节点同时贴预训练位置与 DQB 插值轨迹。原文把不确定性在框架里的用途收成三条:(1) re-weighting deviations of key nodes;(2) guiding the interpolation of non-key nodes;(3) balancing their influence in the total loss;并给出结论句,说这套设计缓解了遮挡下的漂移、并在新视角保持几何一致性(原文 p6)。训练侧的旁证是附录 C.2 的跟踪读数,不确定性感知的图构建也改善了动态物体跟踪的时空一致性(原文 p17)。
这三处解释能支撑到哪一步,可以分三层看。直接读数这一层,深度侧只有表 S9 的相对值与图 4-1 的 Camel 例证(画面不读值),没有独立的深度误差度量;可见性侧只有「不确定性由覆盖像素与混合权重决定」这条定义,没有单独的遮挡或可见性度量;时序侧由表 S2 的跟踪指标(第 10 章已列的 PCK 与 EPE)间接支撑。消融这一层,把不确定性从关键节点选择或损失加权里拿掉,PSNR 与 SSIM 会掉(表 9-1 的 (a) 0.77 dB、0.028,(c) 0.55 dB、0.035),说明这个量在训练里确实在起作用。解释这一层,作者把改善归给高置信高斯当锚点、不确定区被降权,这是机制上的说法。按本站核对,不确定性对渲染与跟踪指标的增益有读数支持,而「几何一致性变好」这句判断拿到的是机制解释与间接旁证,还缺一张把几何误差单独拿出来量的表。
这一段里的量、式与表分别在原文 §4.1(p3–p4)、§4.2(p4–p5)、§4.3(p6)、附录 A.1(p14)与 D.4(p22);附录的 S 系列未取图元,正文不另立图块与表块。
12限制、适用边界与结语
第 11 章把不确定性这条链能支撑到哪一步划清,本章收拢作者自陈的限制与本站核对出的问题,末了落八条边界。
作者对框架边界的交代集中在附录 E 的总起(p23):模型部分依赖初始 4D 高斯的跟踪质量与观测期内可得的几何线索,但在部分可见与不完美跟踪下仍能恢复或保住形状;原话接着让步,框架仍继承底层 4D 先验的根本限制,当先验不含任何可靠的运动会几何信息时,不确定性模型没有可传播的信号,因而无法完整恢复缺失结构。三处困难情形(纹理缺失区、快速运动、形变物体)各有失效模式,逐条落在边界 2 到边界 4(E.1–E.3,p24–p26)。
本站核对出来的问题分两类。读数一类:表 8-2 的 USPLAT4D 两行里 18 个同格连写增益有 6 个算不平,表 8-2 与附录表 S4 的六场景均值有 7 格差在 0.008 到 0.175 之间。成本一类:不确定性估计渲染快于 60 FPS、开销可忽略;图构建约 3 秒/图,DyCheck 典型输入 200 张 ⇒ 本站按表现算约 10 分钟;训练约 4 秒/图 ⇒ 200 张约 13 分钟,两段合计约 23 分钟;DAVIS 是 50 到 90 帧,同法换算图构建约 2.5 到 4.5 分钟、训练约 3.3 到 6 分钟。表 S10(p22)里同时间档 19.41/0.710/0.254 与完整时间档 19.63/0.715/0.249 都高于 MoSca 基线的 19.32/0.706/0.264,本站按表现算同时间档为 +0.09 dB。
原文在 §6 收束:把时变不确定性估计与不确定性引导的图结合起来,显著改善了极端新视角合成下的几何一致性与渲染质量,后续工作继续用不确定性推进鲁棒的 4D 重建与极端新视角合成(原文 §6, p9)。
边界 1: 先验里没有的信息,不确定性传不出来。附录 E 总起的原话是,框架仍继承底层 4D 先验的根本限制,当先验不含任何可靠的运动会几何信息时,不确定性模型没有可传播的信号,因而无法完整恢复缺失结构(原文 p23)。这个量只重新分配既有观测的可靠性,先验缺失的信息无从产生。
边界 2: 纹理缺失区会从「轨迹不可靠」一路坏到「先验错」。E.1 的原话是,视觉基础模型在无纹理区给出不可靠轨迹,反过来让基座生成错误的高斯先验;本篇能跨时空传播几何信息,但底层正确信息稀少时,传播出去的运动仍带着糟糕的初始跟踪与重建(原文 p24–p25)。典型失败案例是图 S4(p23)里环绕相机下的小鸡(SoM 的高斯随相机漂移、重建崩掉),Objaverse 上这类区域明显拉低定量表现。
边界 3: 快速运动仍有滚动快门与多视角一致性两笔账。E.2 的原话是,快运动区的重建仍继承输入视频的滚动快门失真,快速运动进一步挑战多视角一致性,解决这类伪影仍是单目 4D 重建的开放问题、超出本文范围(原文 p25)。机制上本篇靠不确定性加权 DQB 损失加可训练 p_i,t 放松节点插值的硬约束,而 SoM 把运动限制在少量基上、MoSca 的脚手架插值在高运动区变成硬约束。
边界 4: 高形变区在先验严重不准或观测稀疏时仍难。E.3 的原话是,当先验严重不准确或观测稀疏时,重建高度可变形区域仍然困难,这指明了未来工作的方向(原文 p26)。MoSca 的脚手架在抓不住角点、末端或细结构时会给过度约束下的畸变或部件缺失(如人体四肢、图 S6 里猫的耳朵),本篇的软正则只能缓解。
边界 5: 主表增益只代表「靠近输入视角的验证视角」。§5.2 的原话是,表 8-1 的验证视角接近输入轨迹、因靠近输入视角而相对容易,更显著的提升出现在极端新视角(图 8-2,原文 Figure 4, p6),而那部分不在表 8-1 里(原文 p8)。极端新视角与 DAVIS 的对比没有真值几何、只能定性,Objaverse 是自建合成基准(脚注 3 说明现有基准在极端视角上缺真值),跨数据集引用增益前先声明口径。
边界 6: 适用范围与方法前提。摘要与 §1 写明框架是 model-agnostic、可接进任何参数化逐高斯运动的动态高斯管线,对不提供初始运动参数的方法不适用;实现上要求基座先训好(附录 B.1/B.2,p16),为公平比较要给基座补同样多的迭代(SoM 追加 400 epochs、MoSca 追加 1600 steps、batch size 8,前 10% 与后 20% 关闭 density control 与 opacity reset),基座自身的误差与开销被继承(§6, p9)。本站按附录 D.5 换算,两段合计约 23 分钟,同时间档 19.41 对 MoSca 的 19.32、即 +0.09 dB(表 S10, p22)。
边界 7: 跨表读数不自洽,引用前先声明用哪一张表的值。①表 8-2 的 USPLAT4D 两行,18 个同格连写增益里 6 格与「读数 − 同行基线」算不平(最扎眼的一格是 (60◦, 120◦] 的 PSNR,读数差 0.99、连写却作 09),增益不采信;②表 8-2 与附录表 S4 的六场景均值,7 格差在 0.008 到 0.175 之间,最大一处是 15.98 对 15.805(S4 无 Mean 行,均值为本站现算);③表 8-1 与附录表 S3,MoSca 19.32 对 19.35、SoM 16.72/0.630/0.45 对 16.70/0.645/0.39、USPLAT4D 的 mSSIM 0.650 对 0.645;④表 8-1 与附录表 S10,mSSIM 0.716 对 0.715;⑤表 8-1 表注那句 across all metrics 在 MoBlender 的 mLPIPS 上不成立(0.37 对 0.38)。以上为本站逐格核对,不替作者归因。
边界 8: 许可与内容层面的边界。本篇可站内托管,依据是 arXiv 摘要页的 CC BY 4.0(PDF 内没有许可行),文末给站内 paper.pdf 直链与 arXiv canonical 双链接,页脚与卡片放 CC BY 4.0 chip 并写明依据来自 arXiv 摘要页。附录 F(p26)另提醒,方法推进 AR/VR、物理场景理解、数字内容创作与人机交互,但可能被滥用于合成内容操纵;方法不涉及敏感数据,下游应用须注意负责任使用。
13贡献块
贡献块
这一篇的贡献可以按「重新说一遍问题」与「把不确定性一路做到损失」两条线收。
第一条是问题的说法。单目 4D 重建的欠约束是老问题,但这篇换了一个切口:它不争论表示够不够强,而是指出原版动态高斯对所有基元均匀优化这件事本身就有代价 —— 一个在整段序列里被反复看到的高斯,和一个只在两三帧里露过一面的高斯,在损失里占同样的分量。后果被写成两处具体退化:遮挡下的运动漂移,以及外推到极端新视角时的画质下降。由此得出的判据也很干净:跨视角、跨时间被反复观测到的高斯作可靠锚点去引导运动,可见性差的那些降级对待(原文摘要)。方法起名 USPLAT4D。
第二条是把不确定性从估计一路做到损失。先用逐高斯、随时间变化的不确定性给每个高斯的可信度定值(式 3-1、4-1 到 4-5),再据此建一张时空图:图的边按不确定性加权,用不确定性感知的 k 近邻(UA-kNN,式 5-1)把可信锚点的运动线索传播给不可信的高斯,另有一条非关键挂接支路(式 5-2)兜住「不算关键点但也要挂上」的那些。损失侧有两件:关键项(式 6-1)把不确定性引进监督,去噪桥 DQB(式 6-2)单独处理一类目标,最后四项加权成总损失(式 6-4)。这三处的权重原文只给符号、没给数值(式 4-4 的大常数 φ、UA-kNN 的 k、体素网格分辨率、DQB 的边权归一化方式),本站一律留白。
第三条是证据的形态。这篇的账分三处,各自回答不同的问题。画质:DyCheck 的 7 scenes 2× 上本篇是 19.63 dB / mSSIM 0.716 / mLPIPS 0.25,对 MoSca 的 19.32 / 0.706 / 0.26 是 +0.31 dB;5 scenes 1× 上本篇 mPSNR 16.85 对 MoBlender 的 16.79、SoM 的 16.72。外推:Objaverse 上对 MoSca 的三档视角偏移增益是 0.04 / 0.24 / 0.42 dB,单调递增 —— 与「偏移越大越需要锚点来纠」这个说法相合;对 SoM 一侧的三档是 0.54 / 0.99 / 0.58 dB,最大的一笔落在中段,与那句并不完全一致,本站如实并列。消融:四个消融档相对完整模型掉 0.77 / 0.13 / 0.55 / 0.13 dB(表 9-1),去掉不确定性那一环的 0.77 dB 是最大一笔,这是本篇最直接的一条支撑。跟踪侧另有一笔:PCK@5cm 从 43.0 提到 54.4,绝对差 11.4 个百分点。
本站在文里额外做了三件事,都属于精读该做的核对,没有替作者下判断。第一,把 3 张表按原文文字层逐格取出来重排,并用一条完全独立的路径(按「页 + y 带 + 阅读顺序」)重抽复核,跑到 零差异;在此之上核了跨表一致性,比出三组不一致:表 8-2 与附录表 S4 的六场景均值有 7 格差 0.008–0.175(最大一处 15.98 对 15.805);表 8-1 与附录表 S3/S10 有四处小差(MoSca 19.32 对 19.35、mSSIM 0.650 对 0.645、0.716 对 0.715 等,原文表注已交代 S3 带 ⋆ 为作者复现口径)。第二,查出表 8-2 的增益列不可采信:它把「读数」与「增益」连写在同一格,18 格里 12 格能由「读数 − 同行基线」复原、6 格对不上,最扎眼的是 (60°,120°] 的 PSNR —— 读数差是 0.99,连写却作 09。第三,把表注声明与逐格读数摆在一起:表 8-1 的表注称「across all metrics」领先,按表现算在 5 scenes 1× 的 mLPIPS 上并不成立(MoBlender 0.37 优于本篇 0.38,mPSNR 16.85 对 16.79、mSSIM 0.650 相等)。此外把成本按原文给的速率复算了一遍:200 张图 约 23 分钟(图构建 3 秒/图 ≈ 10 分 + 训练 4 秒/图 ≈ 13 分),50–90 帧的 DAVIS 序列是 2.5–4.5 分 + 3.3–6 分。
14原文出处块
标题:Uncertainty Matters in Dynamic Gaussian Splatting for Monocular 4D Reconstruction
作者:Fengzhi Guo、Chih-Chuan Hsu、Sihao Ding、Cheng Zhang。单位分别是德州农工大学(Texas A&M University:Guo、Hsu、Zhang)与梅赛德斯-奔驰北美研发(Mercedes-Benz Research & Development North America:Ding)。
发表:ICLR 2026(The Fourteenth International Conference on Learning Representations)会议论文。预印本 arXiv:2510.12768v3 [cs.CV],v3 日期 2026-02-27。原文 27 页,Letter 开本双栏;正文含 12 个编号公式、7 张图、3 张表,另有 4 页参考文献与 14 页附录(含补充定量表 S1–S10、补充定性图 S1–S6、实现细节、限制与社会影响两节)。
授权:CC BY 4.0。原文 PDF 内没有任何许可声明(逐页检索 Copyright、Creative Commons、CC BY、License、All rights reserved 等词,一处未命中);本页所据的许可来自 arXiv 摘要页的 License 链接。按该许可,本站提供站内 PDF 托管(文末同时给出 arXiv 的 canonical 链接),并声明未对原文作任何修改;7 张原图逐图署名(图号 + 原文 Figure 号 + 页码 + 未修改)。列表页卡片放 CC BY 4.0 chip。
附材料:原文摘要末尾给出项目页 https://tamu-visual-ai.github.io/usplat4d/。本篇涉及的数据集按原文为 DyCheck、Objaverse 与 DAVIS 等,对照方法含 MoBlender、SoM、MoSca。本站不对任何外部仓库或项目页的内容、可用性作任何描述或推断。
原文全文:站内托管 PDF(12.6 MB) · arXiv:2510.12768(canonical 版本)
本站按 CC BY 4.0(依据 arXiv 摘要页的 License 链接,PDF 内没有许可行)原样托管原文 PDF,未作任何修改(不裁切、不拼接、不加标注);引用时请标注 arXiv:2510.12768v3 与 ICLR 2026。
使用说明:本页是论文精读,未做全文翻译,也不代表原作者的观点汇总。正文里的方法描述、数值与结论均标注了原文出处(页码口径 [p.N],从 0 起);7 张图按实测包围盒从原文 PDF 裁取原样引用,未裁切拼接、未加标注、未施滤镜,逐图署名;3 张表按原文文字层逐格取值后以 HTML 重排,数值未改位数。本页的作者主张与本站的核对发现是分开写的:凡属作者主张(例如「原版模型均匀优化导致遮挡下运动漂移与极端视角画质下降」「反复被观测的高斯作可靠锚点」「增益随视角偏移增大」)均标明是原文的判断;凡属本站核对(表格逐格取值与跨表一致性、表 8-2 连写增益的复原检验、表注「across all metrics」的逐格比对、成本与跟踪增益的复算)均标为实读发现。文中所有数据以原文为准;跨表引用同一配置时,本站会指明取的是哪一张表的值(两处读数不一致时并列,不取其一)。若原文后续版本有修订,以 arXiv 最新版为准。