篇目 46 · 单篇论文精读

视频生成画得出重力却守不住重力:把力场学进网络、让轨迹靠积分算出来,比外挂物理引擎快两个数量级

NGFF · 视频生成模型的视觉质量已经很能看,缺的是一块显式物理建模 —— 于是频繁违反重力与物体恒存。这篇把「物理」从外挂的仿真器搬进网络:用冻结的视觉基础模型把多视图 RGB 变成可分实例的 3D 高斯,再从高斯邻域里学出全局变换力场与逐点应力场,合成统一力场后交给 ODE 求解器积分出轨迹。对最强对照 Pointformer 三个泛化维度全部占优,比先前的高斯仿真器快两个数量级

Shiqian Li、Ruihong Shen、Junfeng Ni 等 北京大学 / 清华大学 arXiv:2602.00148v2 · ICLR 2026 2026 年 · CC BY-NC-SA 4.0(可站内托管)
14 章一级章节(按拆解点切)
5 式原文 (1)–(5) 重排
7 张配图(原文 7 / 自绘 0)
8 条边界与反例(独立成节)

图-段配对表 · 本稿 7 张

图角色档归属支撑的论断层次状态
图 1-1E§1能力总览:四块能力面板(动态预测/交互生成/泛化/真实迁移)①②③原文 Fig. 1, p.1 · 原样引用
图 3-1E§3框架总览:从多视图 RGB 到可分实例高斯、再到力场与 ODE 求解的整条链①②③原文 Fig. 2, p.2 · 原样引用
图 8-1E§8数据集 GSCollision 的构成与三类泛化划分①②③原文 Fig. 3, p.5 · 原样引用
图 9-1E§9动态预测的定性对照(纯图像网格)②④原文 Fig. 4, p.6 · 原样引用
图 10-1E§10交互生成的定性结果(纯图像网格)②④原文 Fig. 5, p.6 · 原样引用
图 10-2E§10与视频生成模型的对照(纯图像网格)②④原文 Fig. 6, p.8 · 原样引用
图 11-1E§11真实世界迁移的定性结果(纯图像网格)②④原文 Fig. 7, p.8 · 原样引用
角色档:本篇 7 张全部登记为 E 类(证据图)——它们承载可核对的读数(对照读数标在页内、或作为某条论断的唯一证据),按 20 号票的裁决 E 类禁止自绘,故一律引用原图。自绘 0 张,S 类配额未动用。
取图口径:7 张按实测包围盒从原文 PDF 裁取、3.0× 栅格化(约 216 dpi),未裁切拼接、未加标注、未施滤镜,逐图署名(图号 + 原文 Figure 号 + 页码 + 未修改声明)。七张为能力总览、框架总览、数据集构成与四组定性对照(含一张纯图像时序网格);正文一律不读值,只引原文写出的结论;例外是图内已写出的标签可点名(图 1-1 的四块能力面板名,图 3-1 的流水线方块名,图 8-1 的十类物体标签、饼图数字与五个场景名,图 9-1/10-1/10-2/11-1 的方法行名与时间档)。
表:2 张数据表不以截图呈现,而是按原文文字层逐格取值后以 HTML 重排(106 个数値格,可逐格核对);数值未改位数。另有 1 张释义表(式 5-1 与式 5-2 的符号与物理量释义)由本站整理。本轮原始裁图 tables/tab1.png(1219×271)与 tables/tab2.png(685×600)可取全、四边墨迹 0.0%,作逐格核对凭据。
许可:原文预印本 arXiv:2602.00148v2 的 arXiv 摘要页标注的是 CC BY-NC-SA 4.0(licenses/by-nc-sa/4.0);PDF 内没有任何许可声明(逐页检索 Copyright / Creative Commons / CC BY / CC BY-NC-SA / CC0 / License / licensed / All rights reserved 等词,一处未命中,只命中参考文献里的 arXiv preprint 串)。该许可有两层约束:NC 限定非商业使用(本分区不做商用、不挂商业导流,落在此范围内),SA 要求演绎作品同许可发布 —— 本站的处置是原图与表原样、零加工引用,因此不构成演绎。文末给出站内托管的 paper.pdf 与 arXiv canonical 双链接,并声明未对原文作任何修改;列表页卡片放 CC BY-NC-SA 4.0 chip(依据 arXiv 摘要页)。所有图均为原文图原样引用、未修改,逐图署名(图号 + 原文 Figure 号 + 页码 + 未修改声明)。
原文摘要 Abstract, p.0(英文原样引用)

"Predicting physical dynamics from visual data remains a fundamental challenge in Artificial Intelligence (AI), as it requires both accurate scene understanding and robust physics reasoning. While recent video generation models achieve impressive visual quality, they lack explicit physics modeling and frequently violate fundamental laws like gravity and object permanence. Existing approaches combining 3D Gaussian splatting with traditional physics engines achieve physical consistency but suffer from prohibitive computational costs and struggle with complex real-world multi-object interactions. The key challenge lies in developing a unified framework that learns physics-grounded representations directly from visual observations while maintaining computational efficiency and generalization capability. Here we introduce Neural Gaussian Force Field (NGFF), an end-to-end neural framework that learns explicit force fields from 3D Gaussian representations to generate interactive, physically realistic 4D videos from multi-view RGB inputs, achieving two orders of magnitude speedup over prior Gaussian simulators. Through explicit force field modeling, NGFF demonstrates superior spatial, temporal, and compositional generalization compared to state-of-the-art (SOTA) methods, including Veo3 and NVIDIA Cosmos, while enabling robust sim-to-real transfer. Comprehensive evaluation on our GSCollision dataset—640k rendered physical videos („4TB) spanning diverse materials and complex multi-object interactions—validates NGFF's effectiveness across challenging scenarios. Our results demonstrate that NGFF provides an effective bridge between visual perception and physical understanding, advancing video prediction toward physics-grounded world models with interactive capabilities."

这一篇要讲清的九件事
  • 缺口被立在「显式物理」这四个字上:视频生成模型视觉上已经很能打,但没有显式的物理建模,会违反重力与物体恒存;把 3D 高斯接上传统物理引擎那条路物理自洽,却算得极慢、也难处理复杂的多物体交互(原文摘要、§1)。
  • 做法是把力场学出来,而不是把仿真器接上去:用冻结的视觉基础模型(Point Encoder/π3/SAM 2/DiffSplat 这条链)把多视图 RGB 变成可分实例的 3D 高斯,再从高斯邻域里学全局变换力场与局部逐点应力场(式 5-1、5-2),合成统一力场(式 6-1)。
  • 动力学靠解 ODE,而不是直接回归位移:归一化的力经 ODESolve(z_q(0), F, 0, t) 解出轨迹(式 6-2),再对位置做二重时间积分(式 6-3)。这样做的好处是位移是物理量积分出来的,而不是网络凭画面记忆拼出来的 —— 这也是它能谈「泛化」的底气。
  • 两笔最响的账:比先前的高斯仿真器快两个数量级(摘要原话 two orders of magnitude);动态预测上对最强对照 Pointformer,Spatial/Temporal/Compositional 三个泛化维度全部占优(表 9-1:RMSE Spatial 0.082 对 0.096、Temporal 0.107 对 0.129、Compositional 0.104 对 0.162;FPE 与 R 同向)。
  • 速度账的复算:表 9-1 上本篇 0.363s 对 VLM-MPM 的 39.29s 是 ≈108 倍;附表 A5 上对 PhysGen3D 是 37s 对 400s、72s 对 590s(约 8–11 倍)。同一列对 Pointformer 的 0.183s,本篇并不占优 —— 正文如实并列。
  • 生成侧的取舍写得明白:人类评测的物理合理性上,NGFF-V 对 Cosmos 是 0.56 对 0.29(Human 侧多档在 0.27–0.33 之间领先);但视觉真实感上让位(表 10-1 里 Veo3 的 PhotoR 0.64 高于 NGFF-V 的 0.55)。原文自己就说 2D 视频生成在照片真实感上出色、3D 预测模型受重建伪影与简化渲染所限,本站照这个口径写。
  • 数据集是自己造的:GSCollision,10 类代表性物体(刚柔两类)、3,200 个场景、640k 段渲染视频;训练配置是 8×NVIDIA H100 80GB、1001 epochs、48 小时(附录 B.3)。数据集体量的数字在原文里有多套口径(摘要 ≈4TB/图 3 注 4.25 TB/附录 C.1.4 216K video clips/17.28M frames),正文各自带出处、不合并。
  • 三处实读发现(本站逐格核过 2 张表共 106 格、独立路径复核 0 差异):①表 9-1 的 Compositional 列与附表 A4 的 Compositional-4(0.09533/0.37274/0.59444)与 Compositional-6(0.11268/0.44583/0.54707)都不吻合,而 Spatial/Temporal 两段逐格吻合;②Time 列三套口径并存(表 9-1 的 0.363s、附表 A5 的 37s(3)/72s(6)、A5 正文的 2.5s per sequence),疑为 per-step 与 per-sequence 之别而原文未标,本站并列不换算;③附表 A5 里 NGFF-V/Pointformer-V/GCN-V 三行耗时完全相同(37s/72s)⇒ 该列不采信。
  • 多处实现细节原文未给:f_η/f_ϕ/Φ 的逐层架构、投影矩阵 W 的 d_hidden/d_force、关系图里 kNN 的 k、仿真网格的分辨率、高斯个数 M —— 正文一律只写符号或标「原文未给」,不替作者补数。

1立题:缺的是可计算的物理,补法是一个显式力场

篇首把这篇的产物压成了几句话,这里先把它要回答的问题拆开。原文在摘要开头下的判断很直白:从视觉数据里预测物理动力学之所以是 AI 里的一个根本挑战,是因为它同时要两样东西,准确的场景理解与稳健的物理推理(摘要,p.0)。这条判断给后面所有设计先立了地基。

接下来是两处缺口。近期视频生成模型的视觉质量已经相当高,缺的却是一块显式的物理建模,于是频繁违反重力与物体永久性这类基本规律;原文在引言里把这份清单写得更细,物体永久性、固体性与重力都在其中,且是在海量视频上训完之后仍然如此(§1,p.0)。另一头是拿 3D 高斯泼溅去接传统物理引擎的那些做法:物理上是一致的,付出的却是高到难以承受的算力代价,原文用的词是 prohibitive computational costs,并且难以处理真实世界里复杂的多物体交互(摘要,p.0)。两边各有各的欠缺,一个管不住物理,一个管不动算力。

另一侧的参照是人。原文从婴儿说起,人从很小就有一套稳健的直觉物理,靠内部那台「物理引擎」预测物体如何移动、碰撞、形变(§1,p.0,引 Spelke & Kinzler, 2007 与 Battaglia et al., 2013 等);当前 AI 系统离这一步还差得远(§1,p.0)。

差在哪里,引言点出两处 fundamental challenges,并逐条给了病根。第一处是从 RGB 输入学到有效的物体表示:多数物理预测方法依赖精确的物体中心数据,或者依赖难以在物理上接地的隐式体积编码;基于粒子的那类方法还要额外的预训练渲染器来保证多视图一致,可扩展性因此被卡住(§1,p.0–p.1)。第二处是学到可泛化的物理动力学:大视频模型倾向过拟合表层的视觉特征、去检索训练里的模式,一套稳健的物理原理并没有学出来;近期那些高斯物理方法有潜力,却受预定义的模拟器与难以处理的参数所限,在可扩展性与泛化上吃力(§1,p.1)。

把两头摆到一起,要填的空位就清楚了。原文把关键挑战压成一句话:做一个统一的框架,直接从视觉观测里学到物理接地的表示,同时保住计算效率与泛化能力(摘要,p.0)。这篇给出的答案叫 Neural Gaussian Force Field(NGFF),原文对它的定义是一个端到端的神经框架,从 3D 高斯表示里学显式力场,从多视图 RGB 输入生成可交互、物理真实的 4D 视频,相对先前的 Gaussian 模拟器取得两个数量级的速度提升(摘要,p.0)。落到步骤上,框架用前馈几何 transformer 把多视图 RGB 编码成带物体语义的 3D 高斯,用神经算子预测物体中心的力场,力场再经常微分方程求解器积分来模拟真实动力学,最后渲染演化后的高斯、生成物理一致的多视图视频(§1,p.1)。力场在这里是关键的一环,它是显式的,外力因而可以当成力提示直接注入,泛化也就顺着空间、时间、组合三个方向长出来。

摘要给出的成绩有三条:在空间、时间、组合三个方向上的泛化优于 SOTA 方法,原文点名 Veo3 与 NVIDIA Cosmos;支持稳健的模拟到现实迁移;并在自建数据集 GSCollision 上完成验证,原文写的是 640k rendered physical videos,≈4TB(摘要,p.0)。引言把能力收成四条:显式力场推理带来的更强的分布外泛化、把外力当力提示来控制学到的动力学从而做到交互生成、从物体感知的 3D 高斯做与背景无关的高效多视图合成、以及神经场表示向真实场景的迁移(§1,p.1)。这四条正对应图 1-1。

NGFF 的能力总览,四块能力面板拼成的立题 teaser
图 1-1 E 类·证据 · 原文 Figure 1, p.1 · 原样引用 怎么读 ①指认:这是一张能力总览 teaser,图面分成 Novel-background Generalization、Novel-view 4D Generation、Virtual Training、Real-world Inference 四块能力面板,并写有 GSCollision: Gaussian Physical Reasoning Dataset、Neural Gaussian Force Field、Force-prompted Interactive Generation、Enhanced OOD Generalization,以及 Rendering 与 Simulation 两类输出标签。②读法(怎么读):图注原话是 NGFF 是一个把感知与动力学统一起来、以建模复杂交互并合成 4D 视频的物理接地视频预测框架,它建立在高斯表示与力场之上,因而同时支持新视角与新背景合成以及力提示交互生成,在动态预测上取得强的空间与时间泛化,并能有效适配真实世界场景;画面本身不读值。 来源:Learning Physics-Grounded 4D Dynamics with Neural Gaussian Force Fields(ICLR 2026 · arXiv:2602.00148v2)· 图 1 · 未修改引用(CC BY-NC-SA 4.0)

对标对象在引言里点了名:基于粒子的 Pointformer(Wu et al., 2024b),以及视频生成模型 Veo3(DeepMind, 2025)、NVIDIA Cosmos(NVIDIA et al., 2025)与 PhysGen3D(Chen et al., 2025)(§1,p.1)。立题这一章的主张与读数,出处是摘要与 §1,页码落在原文 p.0–p.1,能力总览图是原文的 Figure 1,在 p.1。

2两条前人线:4D 动态重建与生成,以及物理仿真先验

上一章把空位定在「从 RGB 学表示」与「学可泛化的动力学」两处,要看清这块空位,得把两侧已经铺好的地基分开看。原文在 §2 开头给了总起:物理推理与视觉动态预测,是打造具备人类式直觉物理的 AI 系统时的两个根本挑战(§2,p.1)。

第一条线是 4D 动态重建与生成。以违反期望(Violation-of-Expectation,VoE)范式为基础的评测框架推动了神经动力学预测的进展,这条线上不少工作把图神经网络(GNN)当动力学主干,场景表示各取所需,网格、有向距离场、弹簧质点与粒子网格都有人用(§2,p.1–p.2,引 Sanchez-Gonzalez et al., 2020;Bear et al., 2021;Allen et al., 2023a;Rubanova et al., 2024;Jiang et al., 2025a;Zhang et al., 2025)。这条线盯住的是从视觉输入预测未来帧这件事本身,原文在附录里为它单开了一节(附录 D.2,p.30)。原文对这些方法的判语是:模拟多样材质可以,代价是依赖预定义的物理模型与结构化的输入,遇到复杂、分布外的交互就难以泛化(§2,p.2)。附录 D.2 把这条线铺得更细,早期方法能间接地表现物理现象,在复杂材质与交互上却常常失败;近作往里注入物理归纳偏置,刚体走网格或有向距离场表示,可形变体走弹簧质点模型或粒子网格表示,问题依旧落在复杂多物体交互与泛化能力上(附录 D.2,p.30)。

第二条线是把动力学当视频来生成。原文把扩散类视频生成模型与前面那条线并置:它们在海量视频上预训练,能合成时间连贯、视觉上抓人的片段,缺的是对物理规律的内在理解,遇到物理一致性就吃力(附录 D.2,p.30–p.31,引 Blattmann et al., 2023;DeepMind, 2025;NVIDIA et al., 2025)。作者对这类模型的判断很直接:它们对物理的掌握是表面的,生成的轨迹多是从训练数据里检索来的,一套一致学到的物理规律并没有建立起来(附录 D.2,p.30,引 Kang et al., 2025)。也有工作在把物理当成显式引导往里塞,原文点到 PhysAnimator(Xie et al., 2025)用初步物理模拟产生的运动草图去引导视频扩散模型,以及 ForcePrompting(Gillman et al., 2025)把力当作直接的控制信号、训练模型对用户交互给出响应(附录 D.2,p.31)。

第三条是物理仿真的先验。代表是可微物理模拟器,尤其是把高斯形式与材质点法(Material Point Method,MPM)接起来的那批工作(Xie et al., 2024;Lin et al., 2025b;Chen et al., 2025):结果的物理保真度高,代价是算力开销高到难以承受,真实世界里的可扩展性被卡住(§2,p.2)。附录 D.2 补了一层口径,把 3D 高斯渲染成粒子再交给 MPM 这条路,依赖的是很强的物理先验,或者要逐案做优化,而这些在直觉物理场景里未必拿得到(附录 D.2,p.30)。

三条线之外还有一层地基,是场景表示本身。原文把它画成一条演化线,从点云与 NeRF(Shi et al., 2024;Whitney et al., 2024;Driess et al., 2023;Xue et al., 2023a;Li et al., 2023)走到 3D Gaussian Splatting(Kerbl et al., 2023),近期又靠前馈预测把重建做快(Wang et al., 2025a;Jiang et al., 2025b;Wang et al., 2025b;Zhobro et al., 2025)(§2,p.2)。这一层是三条线共用的地面:动态这条线要一个能承载物理的表示,生成这条线要一个能对齐视角的表示,仿真这条线则直接把表示喂进模拟器。附录 D.3 顺手点了 PhysGaussian(Xie et al., 2024)这一处,它把 3D 高斯与牛顿动力学接起来做运动合成(附录 D.3,p.31)。

把三条线对照着看,分工是清楚的。神经模拟器这条线把物理先验灌进网络结构与场景表示里,网格、有向距离场这类表示本身带约束,代价是被结构化的输入与预定义的模型绑住,换到复杂、分布外的交互就不灵(§2,p.2)。可微物理模拟器这条线把物理算得准,代价是算力开销与逐案优化(§2,p.2;附录 D.2,p.30)。扩散视频生成这条线把画面做得漂亮,对物理的掌握却停在表面,轨迹常从训练数据里检索(附录 D.2,p.30–p.31)。三条路各占一头,从 RGB 直接学物理、同时还算得动这件事,没有一条把它整段接下来。

把三条线与这一层合起来,就得到这篇的站位。原文在 §2 末尾一句写定:把前馈的高斯场景表示与神经动力学建模统一起来,在多物体交互上实现可泛化的物理推理,直接从视觉观测里学物理,同时保住计算效率与泛化能力(§2,p.2);同一处指向附录 D 里的详版综述。有两条附录里的线索对后面几章有用。一条是评测口味的转向,物理推理这条线近期把评测对向视觉语言模型与视频生成模型,结果一致指出 SOTA 与人类能力之间差距显著(附录 D.1,p.30,引 Motamed et al., 2025;Bordes et al., 2025)。另一条是一项并发工作 3DGSIM(Zhobro et al., 2025),它也走前馈高斯重建加 transformer 预测的路子,但聚焦单物体动力学,对多物体交互与规划的能力有限(附录 D.3,p.31)。两条线索合起来,正是这条站位的意思:两条前人线各自管住了一头,NGFF 落在它们之间。相关工作的这些判断与引用,出处是原文 §2(p.1–p.2)与附录 D.1/D.2/D.3(p.30–p.31)。

3框架总览:把 4D 视频预测写成「学一个力场」

上一章把两条前人线与一层表示摆开,站位随之露了出来。把站位写成形式,需要一套明确的输入、输出与表示,原文在 §3 与 §3.1 里给了这套写法。方法把 4D 视频预测表述为学习一组支配 3D 高斯场景表示时变的 Neural Force Fields(NFFs),整篇由两个互补部件组成:前馈重建把多视图 RGB 观测转成物体感知的 3D 高斯,神经动力学预测把学到的力场经常微分方程求解器积分、模拟真实物理;原文说这套统一框架同时保住场景重建、物理接地的时序预测与真实世界可用的计算效率(§3,p.2)。完整的流程摆在图 3-1 里。

输入的写法很具体。原文考虑的是一个动态场景,由 N 张未摆位的 RGB 图观测得到,这些图在初始时刻从不同视角拍下;目标是在任意时刻与任意相机位姿下生成未来的观测,并且同时满足视觉一致与物理约束(§3.1,p.2)。场景这一侧用 M 个 3D 高斯来表示,它们编码初始观测里的几何与语义属性;核心挑战落在一个神经动力学模型上,它要预测物理上合理的状态转移,还要能通过高斯泼溅把演化后的高斯高效渲染出来(§3.1,p.2–p.3)。学习目标是最小化预测的高斯状态与真值之间的差,这条损失强制的是预测高斯轨迹的物理一致性;它是行内式,原文没有给它编号(§3.1,p.3)。

框架内部的分工在 §3.2 里分成三节:§3.2.1 讲前馈 3D 重建,§3.2.2 讲基于 ODE 的神经动力学模拟器,§3.2.3 讲训练策略;§3.3 则把能力单独说一遍。这一分工把「看得见」与「算得动」拆成两条链:重建那条链负责把像素变成能被物理操作的表示,动力学那条链负责在表示上定义力、再积分成轨迹,两条链之间的接口是带物体语义的高斯。按原文的安排,两条链的训练是解耦的,一段吃真实世界视觉数据,一段吃物理仿真真值(§3.2.3,p.4)。

§3.3 的能力可以当作后面各章的索引。头一项是把动态预测当作算子学习,原文的表述是在显式力场上做神经算子学习,由此在同一表示空间里统一建模刚体与可形变物体,关系图上的神经算子自然捕捉接触交互、碰撞动力学与材质形变,并带来向多体系统的可扩展性,以及在空间配置、时间视野、物体类型与排布组合上的强泛化(§3.3,p.4)。第二项是把视频生成当作物理轨迹的高效渲染,框架把前馈重建与学到的力场动力学合起来,用可微的高斯泼溅渲染预测轨迹,得到合理的照片真实度与良好的物理一致性,并天然支持灵活的视角合成、上下文的场景变化与交互干预(§3.3,p.4)。第三项是向真实世界的迁移,原文给出两个机制:3D 高斯提供了一个解耦的接口,把嘈杂的视觉输入抽象成干净的几何表示;力场算子学到的是超出合成训练数据的稳健物理关系(§3.3,p.4)。两个机制合起来,让框架把学到的动力学适配到真实世界的 RGB 观测上。

这套形式里有两处设计值得先记下。一处是表示的落点选在 3D 高斯上,它既能被高斯泼溅高效渲染,又能被拆成一个个物体,物理量因此有地方挂(§3.1,p.2–p.3)。另一处是动力学走的路径:先出力,再把力积分成轨迹,中间并不直接预测下一时刻的高斯属性,原文把这一步说成 NFF 预测与物理动力学模拟之间一座完全可微的桥(§3.2.2,p.4)。这座桥的两端各自吃什么数据、又怎么训出来,是接下来要交代的事。

NGFF 的框架总览,从 RGB 观测到未来动力学的完整流程
图 3-1 E 类·证据 · 原文 Figure 2, p.2 · 原样引用 怎么读 ①指认:图面自左向右是 RGB Observations 进入 Frozen Foundation Models(含 Point Encoder、π3、SAM 2、DiffSplat)与 Trainable 两路,经 Lifting、Refine 完成 Object-centric Reconstruction,再把 Object Features 交给 NGFF 里的 DeepONet,由 Force Field Functions 分出 Global Transition、Local Stress 与 External Force 三支,接着进 Point ODE Solver 与 Object ODE Solver,最后到 Sim / Render 与 Future Dynamics。②读法(怎么读):图注原话是给定未摆位的 RGB 输入,方法先把场景重建为物体感知的 3D 高斯,其间做前馈预测、分割与精修以处理遮挡与噪声,再把精修后的高斯编码成高维特征、交给一个基于 DeepONet 的神经算子预测物体中心的力场,力场经 ODE 求解器积分以模拟真实动力学,从而可迭代地预测与渲染保持物理一致性的未来场景状态;架构示意图不读值。 来源:Learning Physics-Grounded 4D Dynamics with Neural Gaussian Force Fields(ICLR 2026 · arXiv:2602.00148v2)· 图 2 · 未修改引用(CC BY-NC-SA 4.0)

走到这里,整篇的骨架已经清楚:一个显式的力场,挂在物体化的高斯上,靠 ODE 求解器变成轨迹,再靠渲染变成视频。形式化的写法与两个部件的划分,出处是原文 §3 开头与 §3.1(p.2–p.3),能力那几段的表述出自 §3.3(p.4),总览图是原文的 Figure 2(p.2)。

4数据与训练管线:数据从哪来,模型怎么训

上一章把框架写成形式,留下的问题是这套框架吃的数据从哪里来、又怎么训出来。答案分两段:一段是把多视图 RGB 变成物体化高斯的重建管线,一段是分两阶段跑的训练管线,两段吃的数据各不相同。

先看重建这一段的输入与出口。§3.2.1 沿用一类基于 transformer 的成熟架构,从无位姿的多视图图像做重建:输入图先用 DINOv2(Oquab et al., 2024)分词,再过一个 L 层的 Alternating-Attention Transformer,抓的是所有视角之间的全局几何关系;随后三个专用解码头分别给出相机位姿、高斯中心与高斯属性,其中高斯中心经 pixel-shuffling 解码器给出(Shi et al., 2016),高斯属性含不透明度、旋转、缩放与颜色四项,经卷积上采样并带一条 RGB 捷径来保住细节(§3.2.1,p.3,引 Ye et al., 2025)。

重建出来的高斯还要被拆成物体。物理模拟要求把场景分解成不同的、互相作用的物体,于是管线用 SAM2(Ravi et al., 2025)生成逐像素的实例掩膜,再经多数投票反投影到重建出的高斯上,把整组高斯分成 K 个物体组;为对付遮挡与输入里看不见的部分,又用 DiffSplat(Lin et al., 2025a)配一个 Sim(3) 位姿估计去精修物体表示,目的是提高拓扑完整性。原文在这里记了一条经验:精修取单视图作输入,对最终的 3D 生成更好(§3.2.1,p.3)。

附录把这条管线的实现摊得更开。前馈这一段选了 π3 作主干,理由是原文实测 π3 的置换等变架构在物体配准上比基于首帧重建的 VGGT 更准;构造出的 π3-GS 冻结了预训练模型的交替注意力编码器与相机头,直接用它的点云头预测作高斯中心;原文还发现基于多层感知机的 pixel-shuffling 容易在 patch 边界产生伪影,卷积更平滑,所以在 splatter 头里换成卷积上采样,并在输入端加一条由三个残差卷积块组成的 RGB 捷径(附录 B.1,p.20)。单视图精修这一段是一条串起来的流程:先过超分管线增强纹理,再用 DiffSplat 从单视图推断出完整的 3D 高斯;因为生成的资产落在归一化的物体坐标系里,与场景中的真实尺度与位姿对不上,所以引入 Sim(3) 配准,先用 orbit 渲染多个仰角、拿 SuperGlue(Sarlin et al., 2020)与原图匹配并选出二维对应最多的一帧,把匹配提升到三维,尺度由点云包围盒体积比估出,再用 Kabsch 配 RANSAC 解出初始的六自由度位姿,最后联合精修相似变换、最小化生成点云与观测点云的倒角距离;整段配准在几秒内完成(附录 B.2,p.20–p.21)。

数据从哪来,答案在这两段的训练上分开。前馈重建这一段用预训练 π3 参数初始化,编码器、点云头与相机头都保持冻结,只微调 splatter 头,用的数据是 WildRGBD(Xia et al., 2024),约 22,000 个场景,损失是 RGB 与几何一致性的组合、用来对齐预测深度图与渲染深度图,训练规模是 8 张 H100 80G、50 个 epoch、全局批大小 24(§3.2.3,p.4;附录 B.1,p.20)。动力学那一段的数据来自自建数据集 GSCollision,它用材质点法(MPM)模拟器构造,要同时覆盖刚体与可形变体:10 类日常物体、3,200 个物理真实的场景,覆盖下落、碰撞、旋转、滑动与容纳;训练集是 2,700 个三物体场景,测试集是 500 个,其中 300 个未见的三物体配置、100 个四物体场景、100 个六物体场景,每段序列 100 个仿真步、约两秒(§4.1,p.4–p.5)。规模这一项原文有几套并存的写法:摘要写 640k rendered physical videos、≈4TB,图 3 的注与附录写 4.25 TB、3,200 scenes 与 640k videos,用于 Cosmos 微调的子集又是 216K video clips、17.28 million frames,引用时各自带出处(摘要,p.0;§4.1 与图 3 注,p.5;附录 C.1.4,p.23)。

怎么训,原文的选择是解耦。整篇采用两阶段策略,同时利用真实世界视觉数据与物理仿真真值:前馈重建模块按上面那样只微调 splatter 头,神经动力学模拟器则单独在合成的 MPM 仿真数据上训练,优化的是预测高斯配置与运动轨迹相对真值仿真之间的均方误差;原文对这种解耦的评价是,它能有效利用两个域,同时保持训练稳定(§3.2.3,p.4)。动力学那一段的完整训练配置写在附录 B.3:8 张 H100 80GB、1001 个 epoch、48 小时,学习率从 1×10⁻⁵ 衰减到 1×10⁻⁷,4 层结构、隐藏维 200,每节点批大小 9,每个 epoch 80 步、块大小 80,ODE 用 Euler 法、步长 2×10⁻²,训练时的碰撞检测阈值 5×10⁻²(附录 B.3,p.21)。

这条管线的每个环节都能回原文核:重建与物体化的写法在 §3.2.1(p.3),两阶段训练在 §3.2.3(p.4),数据集构造与划分在 §4.1(p.4–p.5),实现细节在附录 B.1 与 B.2(p.20–p.21)。

5神经力场的定义

第 4 章结束时,场景已经被拆成 K 个带物体语义的高斯组,每一组是一个可以单独受力的物体。要在这批物体上算力,原文在 §3.2.2 开头把动力学模型的核心定死:学力场,也就是学一族向量函数 F(·),按物体当前状态给出作用在物体上的力(原文 p.3)。这条路让刚体与软体交互落进同一套表示,靠显式力场取得对未见场景的稳健泛化(原文 p.3)。

力的自变量是物体级状态。查询物体 q 在 t 时刻的状态写成 z_q(t) = {h_q, s_q(t), ṡ_q(t)},三类量各有分工。h_q 是语义特征,由该物体那批高斯中心经 PointNet(Qi et al., 2017)压成物体级特征,管的是这是什么东西;零阶状态 s_q(t) 收局部点云 x(t) ∈ R^(M×3)、质心 c(t) ∈ R³ 与朝向的欧拉角 θ(t) ∈ R³,管的是它现在长什么样、摆在哪里;一阶状态 ṡ_q(t) 收逐点速度 ẋ(t) ∈ R^(M×3)、质心速度 ċ(t) ∈ R³ 与角速度 θ̇(t) ∈ R³,管的是它此刻往哪动(原文 §3.2.2, p.3)。

接触关系写成一张图 N =(V, E)。V 是物体节点集合,一个节点就是上面那套状态;E 编码物理接触(原文 p.3)。原文给这张图上的算子借了两样来路:神经算子学习(Lu et al., 2021)与关系归纳偏置(Battaglia et al., 2018)。与 q 接触的物体集合记作 N(q)。

(1) Fglobal(zq(t)), Flatent(zq(t)) = Σi∈N(q) W ( fη(zi(t)) ⊙ fϕ(zq(t)) ) + b (全局变换力场与潜场:对接触邻居的隐特征逐元素相乘后求和,再经投影矩阵与偏置映射成力向量)(原文式 1)

这条式对应原文的式 (1)。从物体状态到一支力,中间隔着五步,一步都省不得。第一步把每个物体压成一个节点:h_q、s_q 与 ṡ_q 拼成 z_q(t),V 就定下来了。第二步限定作用范围:求和只走 N(q),只让物理上与 q 接触的邻居出力;拿掉这条限定,求和会遍历全部物体,力就跨过没接触过的物体乱传。第三步把每对关系编码成隐特征:f_η 编码邻居 i 的状态 z_i(t),f_ϕ 编码查询物体 q 的状态 z_q(t),两个编码器各带参数,一个站邻居这一侧、一个站自己这一侧,对应附录 B.3 里 IN 的 branch–trunk 结构(原文 p.21)。第四步把两支隐特征按位相乘:⊙ 是逐元素乘积,让邻居与自己的信息在同一位上相撞,产出这一对关系专属的交互量;换成对邻居不加区分的相加,模型就分不清是哪个邻居在出力。第五步对全部接触邻居求和、加上偏置 b,再由投影矩阵 W 把隐特征映射到力向量所在的维,得到 F_global 与 F_latent(原文 p.3)。W ∈ R^(d_hidden×d_force)、b ∈ R^(d_force),两个维数原文只给符号、没给数值。全局变换力场 F_global ∈ R⁶ 由此带上平移与旋转分量,潜场 F_latent 描述力在物体上的分布,原文说这一形式捕捉接触、滑动、重力等多样交互(原文 p.3)。力场先把物体那批高斯聚成 h_q、再在接触邻居之间聚合,骨架就是这张关系图。

(2) Flocal(zq(t)) = Φ ( Flatent(zq(t)), CAM, xq(t), ẋq(t) ) (局部逐点应力场:吃潜场、接触区域掩膜,以及物体自身的局部点坐标与点速度)(原文式 2)

这条式对应原文的式 (2)。F_global 与 F_latent 管的是物体整体怎么被推、怎么被转,软体内部的形变还没有落点,原文因此补一个神经网络 Φ,让它基于接触区域掩膜 CAM 与 F_latent,再吃物体自己的局部点坐标 x_q(t) 与点速度 ẋ_q(t),给出逐点局部应力场 F_local(z_q(t)) ∈ R^(M×3)(原文 p.3)。应力场比整体力多吃两样东西:软体的形变逐点发生,一支物体级的力说不清哪一点被压、哪一点被拉,所以要 CAM 把接触区域高亮出来当施力位置;形变的响应取决于每个点当下的局部几何与速度,所以要 x_q 与 ẋ_q 当逐点条件。CAM 不给,Φ 就不知道应力往哪里施;x_q 与 ẋ_q 不给,逐点响应就失去当下依据。两块力场到此闭合,符号、维度与出处并排收在表 5-1。附录 B.3 另给了两块网络的实现:IN 走 branch–trunk 结构把成对关系映射到力与力矩,StressNet 经共享 MLP 与全局 max-pooling 投影成逐点应力(原文 p.21)。f_η、f_ϕ 与 Φ 的逐层架构原文未给,正文按符号写、不替作者填数。

表 5-1 式 5-1 与式 5-2 的符号与物理量释义 (原文 §3.2.2, p.3 · 释义按原文文字层,逐项未改)

符号含义出处
F(·)力场,一族按物体状态给出作用力的向量函数原文 §3.2.2, p.3
F_global全局变换力场,∈ R⁶,含平移与旋转分量原文式 (1), p.3
F_latent潜场,描述力在物体上的分布原文式 (1)(2), p.3
F_local局部逐点应力场,∈ R^(M×3)原文式 (2), p.3
z_q(t)查询物体 q 在 t 时刻的状态,= {h_q, s_q(t), ṡ_q(t)}原文 §3.2.2, p.3
h_q语义特征,由高斯中心经 PointNet 提取的物体级特征原文 §3.2.2, p.3
s_q(t)零阶状态:局部点云 x(t)、质心 c(t)、朝向欧拉角 θ(t)原文 §3.2.2, p.3
ṡ_q(t)一阶状态:点速度 ẋ(t)、质心速度 ċ(t)、角速度 θ̇(t)原文 §3.2.2, p.3
N =(V, E)接触关系图,V 为物体节点、E 编码物理接触原文 §3.2.2, p.3
N(q)与 q 接触的邻居物体集合,求和的遍历范围原文式 (1), p.3
f_η / f_ϕ带可学参数的神经编码器,分别编码邻居与查询物体原文式 (1), p.3
⊙逐元素乘积,做物体对之间的交互原文式 (1), p.3
W投影矩阵,∈ R^(d_hidden×d_force),把隐特征映射成力向量原文式 (1), p.3
b偏置,∈ R^(d_force)原文式 (1), p.3
d_hidden / d_force隐藏特征维与力向量维;原文只给符号,未给数值原文式 (1), p.3
Φ预测逐点局部应力场的神经网络原文式 (2), p.3
CAM接触区域掩膜,高亮接触区域原文式 (2), p.3
x_q(t) / ẋ_q(t)物体 q 的局部点坐标与点速度原文式 (2), p.3
M局部点云的点数;原文未给数值原文式 (2), p.3
K交互物体数,即关系图节点数原文 §3.2.2, p.3

两条定义都建在接触关系图上:式 5-1 把物体间的作用算成邻域求和、式 5-2 把物体内部的响应算成逐点应力,两式同出 §3.2.2(原文 p.3)。隔在力与轨迹之间的那道积分留给第 6 章。

6ODE 驱动的动力学与轨迹解码

两块力场在上一章各自定义完,接下来的问题是一支力怎么走到一段位移。原文先把两块力场拼成一个统一力场,再把它交给一个二阶常微分方程求解器去积分,两道工序分别落在式 6-1 与式 6-2、式 6-3 上。

(3) F(zq(t)) = ( Flocal, Fglobal ) (统一力场:把逐点应力场与物体级变换力场拼成一个二元组;原文同一处先写一行不编号的重复式、紧随其后才是编号行,正文只落一次)(原文式 3)

这条式对应原文的式 (3),它把上一章的两块力场合起来:F(z_q(t)) =(F_local, F_global)(原文 p.4)。口径上要说明一处,原文在同一位置先写了一行不编号的重复式、紧跟着才写编号行,正文只落一次。两个分量在统一力场里各管一段:F_local 是逐点应力,管物体内部的形变;F_global 是物体级的那支 6 维力与力矩,管物体之间与整体的运动。拼成一个二元组之后,下游的积分器面对的是一支力,不必再分辨力的来路。

(4) zq(t) = ODESolve( zq(0), F, 0, t ) (轨迹解码:给定初始状态、统一力场与时间区间,由二阶 ODE 求解器积出该时刻的状态)(原文式 4)

这条式对应原文的式 (4)。原文用二阶 ODE 求解器(Chen et al., 2018)积分学到的力场,把轨迹解码写成 z_q(t) = ODESolve(z_q(0), F, 0, t)(原文 p.4):给定初始状态 z_q(0)、统一力场 F 与时间区间 0 到 t,由求解器给出该时刻的状态。原文对这一步的定位说得很直,说它给出 NFF 预测与物理动力学模拟之间一座完全可微的桥(原文 p.4)。这里有两问要答。

第一问为什么是二阶。链条是力给出加速度、加速度积分一次得速度、再积分一次得位置,两次积分对应两层状态,所以要一个二阶求解器接住它。这个二重结构在式 6-3 里写得最清楚。

(5) s(t) = s(0) + ∫0t ṡ(t) dt , ṡ(t) = ṡ(0) + ∫0t F(zq(t)) dt (位置的二重时间积分:位置由速度积出、速度又由力场积出;原文同一编号含两个式子)(原文式 5)

这条式对应原文的式 (5),原文同一个编号里含两个式子:s(t) = s(0) + ∫_0^t ṡ(t) dt 与 ṡ(t) = ṡ(0) + ∫_0^t F(z_q(t)) dt(原文 p.4)。两条要连起来读,它们是一组:位置 s(t) 由速度 ṡ(t) 积分得到,速度 ṡ(t) 又由力场 F 积分得到,把后一条代进前一条,位置就是力场对时间的二重积分。零阶状态与一阶状态正好对应这两层,力的作用由此一路走到位移。只做一层积分、让模型直接输出速度增量的话,加速度就被折进了离散步长里,速度会在每步之间突变,长时域 rollout 最容易在这种地方散掉。

第二问为什么用 ODE 求解、而不让一个网络直接回归位移。原文的选择是把力当显式中间量、让轨迹由积分生成,轨迹因此天然连续;更关键的是整段求解可微,梯度能从轨迹末端一路回传到力场参数上,这是直接回归位移给不了的,后者既没有力的中间表示,也没有一条可以回传物理约束的通道(原文 p.4)。

数值这一侧的口径在附录 B.3。原文把上面这些预测器整合进一个连续时间动力系统,用 torchdiffeq 求解(原文 p.21)。系统状态含点位置、点速度、质心与角状态、以及应力分布;每一步 IN 输出交互力与力矩、StressNet 给出应力导数,两者与外力(若有)和重力组合,得到的加速度再用显式欧拉或自适应步长向前积分(原文 p.21)。原文说这一表述支持稳定的长时域 rollout,同时保住可微性以支持基于学习的优化。落到训练配置上,ODE 方法取 Euler、步长 2×10⁻²(原文 B.3, p.21)。这套口径把力场与一段轨迹钉在了一起,两阶段训练与推演的整体流程收在下面这段伪码里。

把流程写成伪码之前,先把四条前提摆清楚,后面每一步都依赖它们。

前提 1:输入是未摆位的多视图 RGB 图,相机位姿待求;场景用 M 个 3D 高斯 G0 表示(原文 §3.1, p.2)。

前提 2:前馈重建阶段冻结 π3 的 alternating attention encoder、point head 与 camera head,只微调 splatter head(在 WildRGBD 上);物体化用 SAM2 掩膜加 DiffSplat 与 Sim(3) 配准(原文 §3.2.1、B.1、B.2)。

前提 3:动力学阶段把 K 个物体组当作关系图节点,每步由 IN 出力与力矩、StressNet 出应力导数,与外力(若有)和重力组合,用 torchdiffeq 以 Euler 步长 2×10⁻² 前向积分(原文 §3.2.2、B.3)。

前提 4:力场是显式的,所以外力可以当作力提示直接注入以做交互生成;推理时不需要重训基座(原文 §3.2.3, p.4)。

// 入口:N 张未摆位多视图 RGB 图 I0 = {I0(p_k)}(§3.1)
// 第一阶段:前馈重建与物体化重建(§3.2.1、B.1、B.2)
冻结 π3 的 alternating attention encoder、point head、camera head
只微调 splatter head(RGB 与几何一致性损失,WildRGBD)
掩膜 ← SAM2 逐像素实例掩膜,多数投票反投影到高斯 → K 个物体组 G_k
对每个物体:DiffSplat 单视图补全 → Sim(3) 配准(SuperGlue → Kabsch/RANSAC → 倒角距离精修)

// 第二阶段:神经动力学模拟器(§3.2.2、B.3)
对每个物体 q:h_q ← PointNet(高斯中心),z_q(t) = {h_q, s_q(t), ṡ_q(t)}
关系图 N =(V, E):V ← K 个物体,E ← 物理接触
for epoch in 1 .. 1001:
 每步 IN 输出力与力矩(式 5-1)、StressNet 输出应力导数(式 5-2)
 F ←(F_local, F_global)(式 6-1)
 F ← F + 外力(若有)+ 重力
 z_q(t) ← ODESolve(z_q(0), F, 0, t)(式 6-2、式 6-3),torchdiffeq / Euler,步长 2×10⁻²
 以预测与真值仿真之间的 MSE 更新动力学模拟器

// 推演(已训模型)
给定力提示(外力)→ 注入 F → ODESolve 积分 → 渲染演化后的高斯(图 10-1)

四条前提与伪码里的每一步都能回原文核:输入与高斯表示见 §3.1(原文 p.2);冻结与微调的口径见 §3.2.1 与 B.1(原文 p.3、p.20);积分器与步长见 B.3(原文 p.21);力提示这一条见 §3.2.3 的解耦训练(原文 p.4)。动力学这一侧到此交代完整,剩下的问题是这套东西在什么数据上、对着谁、用什么尺子量出来。

7实验设置:数据集、基线、指标、实现

第 6 章收完了动力学这一侧,接下来交代这套账是在什么数据、对着谁、用什么尺子算出来的。数据集的体量在原文里有几套并存的口径,引用时各带出处、不合成一个数。摘要给的是 640k rendered physical videos(≈4TB)(原文 p.0);图 3 的图注给的是 totaling 4.25 TB across 3,200 scenes and 640k videos(原文 p.5);附录 C.1.4 另给一组,用于 Cosmos 微调的是 216K video clips、折合 17.28 million frames(原文 p.23)。附录 A.2 的目录表还有合计 4.250 T 一项(原文 p.19)。这几处的取舍依据原文没有交代,正文一律照原口径并列。数据本身覆盖 10 类日常物体,材质从软的枕头、绳子到刚的球、手机,现象含下落、碰撞、旋转、滑动与容纳(原文 §1、§4.1, p.1、p.5)。

数据的切分挂在同一套划分上。训练集含 2,700 个三物体场景,测试集 500 个,含 300 个未见的三物体配置用于空间泛化、100 个四物体场景用于组合扩展、100 个六物体场景用于复杂多体推理;每段序列跨 100 个仿真步、约两秒(原文 §4.1, p.5)。附录 A.3 把数据集分成 12 组,第 3_0 至 3_8 组作训练、第 3_9 与 4、6 组用于测试泛化;训练轨迹跨 80 个仿真步即 1.6 s,渲染自 20 个视角、4 个背景(原文 p.19)。视频生成另按同一套组号切开:组合档取自第 3_9、4、6 组,新视角档取 5 个未见视角,新背景档取留出的背景(原文 §A.3, p.19)。

对照分两条战线。动态预测这一侧,粒子路线的方法有 GCN(Kipf & Welling, 2017)与 Pointformer(Wu et al., 2024b),物理引擎路线是用视觉语言模型估计参数的 MPM 基线 VLM-MPM(Chen et al., 2025)(原文 §4.2, p.5)。GCN 把每个物体表示成一组关键点、按半径近邻连边,逐层消息传递后回归位置与速度的残差更新、再自回归展开;Pointformer 让全部关键点进多头自注意力以换全局交互,代价是注意力随点数二次增长(原文 §C.1.1、C.1.2, p.22)。VLM-MPM 的 prompt 要求逐个物体给出以千克每立方米计的密度与以帕计的杨氏模量、并以 JSON 返回(原文 §C.1.3, p.22)。视频生成这一侧,扩散类有 NVIDIA Cosmos(NVIDIA et al., 2025)与在 GSCollision 上全参微调的 Cosmos tuned、以及 Google 的 Veo3(DeepMind, 2025),物理引擎类有 PhysGen3D(Chen et al., 2025)(原文 §4.3, p.7)。原文另交代 PhysGen3D 受单视图重建所限、复杂场景会失败,且因依赖 MPM 而比神经模拟慢;Veo3 在碰撞这类费力事件上仍常违反牛顿物理或物体永久性(原文 §C.1.5、C.1.6, p.23)。主对手是 Pointformer,动态预测上的逐项差值留给第 9 章复算。

指标按任务分开。动态预测用三条:预测轨迹相对真值的 RMSE、末位置误差 FPE、以及刻画时间一致性的相关系数 R,三条的完整定义分别落在附录式 (A1)、(A2) 与 (A4),附录式 (A3) 另定义位置变化误差 PCE(原文 §C.2, p.24)。三条各自盯一处:RMSE 是 MSE 的平方根、与原数据同量纲,反映轨迹的平均误差幅度;FPE 只看末位置,补上纯轨迹型指标看不到的终点精度;R 量的是预测与真值轨迹的线性相关,高值说明运动趋势对得上(原文 §C.2, p.24)。视频生成用 PhysR 与 PhotoR 两条:物理真实度考碰撞与重力这类物理规律是否被遵守、弹性与摩擦这类物理属性是否被表达,视觉真实感考伪影、不连续与细节还原;两条都同时走视觉语言模型 Gemini-2.5-flash 的自动评测与 61 名被试的人因问卷,自动评测每条视频取 10 个均匀采样的帧、分值 0 到 1、保留两位小数,人因问卷每页是一段 2 至 3 秒的视频、共 80 页(原文 §C.2, p.24–p.25)。原文交代评测框架时说明,Veo3 与 PhysGen3D 这类模型闭源或不可训,拿它们与真值直接对比并不公平,所以视频生成改走这套定性评测(原文 p.24)。

实现这一侧的口径也逐项摊开。π3-GS 的 splatter head 在 8×H100 80G 上训 50 个 epoch、global batch size 24,用混合精度与梯度检查点,训练数据是约 22,000 个场景的 WildRGBD(原文 B.1, p.20);动力学模拟器在 8×H100 80GB 上训 1001 个 epoch、共 48 小时,学习率从 1×10⁻⁵ 衰减到 1×10⁻⁷,架构 4 层、隐藏维 200,每节点 batch size 9,每 epoch 80 步、chunk size 80,训练时碰撞检测阈值 5×10⁻²(原文 B.3, p.21)。基线侧:GCN 用单张 H100 80GB,学习率 1×10⁻³ 衰减到 1×10⁻⁴,4 层、隐藏维 128,batch 30,500 个 epoch(原文 §C.1.1, p.22);Pointformer 用 4×H100 80GB、60 小时,学习率 5×10⁻⁴ 衰减到 5×10⁻⁶,3 层、隐藏维 128,dropout 0.1,每节点 batch 8,2001 个 epoch(原文 §C.1.2, p.22);VLM-MPM 用 Gemini-2.5-flash 从 20 个训练视频估计杨氏模量与密度(原文 §C.1.3, p.22);Cosmos 的全参微调在 8×H100 80G 上跑 20,000 次迭代,学习率 2.5×10⁻⁴,global batch size 24,分辨率 448×448,条件帧训练时取 3 至 5 个 latent frame 即 9 至 17 个实际帧、测试时取前 13 帧(原文 §C.1.4, p.23)。GPU 型号一律照原文写 H100 80G。

口径到齐之后,主结果才对得上号:数据集的三套体量口径分别挂在摘要、图 3 图注与附录 C.1.4 三处,基线、指标与硬件配置的出处分别在 §4.2、§4.3 与附录 C.1、C.2(原文 p.0、p.5、p.22、p.23)。

8数据集与任务设定

上一章给了各项设置的规模与口径,数据本身怎么造、任务分哪两层、评测按什么定义,还要展开。GSCollision 是一个 3D 高斯泼溅的物理推理数据集,用 MPM 模拟器(Xie et al., 2024)构造,同时收下刚体与可形变体的真实行为与高斯表示的可微渲染效率(原文 §4.1, p.5)。它覆盖 10 类日常物体,软的一侧是枕头与绳子,刚的一侧是球与手机,系统采样物体组成与空间配置后生成 3,200 个物理真实的场景,含物体与物体、物体与地面之间的下落、碰撞、旋转、滑动与容纳(原文 p.5)。

仿真这一条来源的工序在附录 A.1。数据生成是一条混合管线,把高斯泼溅与一个用 Warp 实现的 GPU 加速 MPM 引擎接在一起(原文 p.17)。预处理会去掉低不透明度的核、做全局旋转、把粒子变换到归一化坐标系;本构模型用 Neo-Hookean 弹性;每个物体的粒子数收在附表 A1 里,从 rope 的 8051 到 bowl 的 232764 不等(原文 p.17)。仿真域是一个立方网格、box 边界尺寸为 2,每个粒子存位置、速度、形变梯度、旋转、协方差、应力、质量与密度,经粒子—网格—粒子的 P2G2P 管线逐步更新;每个场景跑 100 个主步、折合 20,000 个子步(原文 p.17)。碰撞在网格阶段处理,边界条件直接施加在网格速度场上,粒子在 G2P 阶段收集修正后的速度,自然满足非穿透与摩擦约束、不必做粒子级碰撞检测(原文 p.17)。视觉复杂度借了 WildRGBD(Xia et al., 2024)的真实背景来抬高(原文 §1, p.1)。

GSCollision 数据集的物体分布、存储构成与评测场景
图 8-1 E 类·证据 · 原文 Figure 3, p.5 · 原样引用 怎么读 ①指认:(a) 是 10 类代表物体按密度与材料硬度(杨氏模量、log 尺度)铺开的一张分布图,横轴标 E (Young's Modulus, log scale)、纵轴标 Density (log scale),两端分别注 Softer 与 Harder,图内写出的十类标签是 cloth、rope、pillow、miku、panda、duck、ball、can、bowl、phone,左下角是软而轻的一类、右上角是刚而密的一类;(b) 是存储构成的饼图,图内写出的读数为动态视频 20.1% 与 0.85 T、初始图像 2.9% 与 0.12 T、4D 高斯 54.1% 与 2.30 T、静态场景 22.9% 与 0.97 T,并标出合计 Total 4.25 T 与 640k videos;(c) 是五类评测场景的代表帧,图内写出的五个场景名是 Training、Longer time、Novel-background、Novel-view、Compositional。②读法(怎么读):把 (a) 当材质覆盖面的索引、(b) 当数据体量与构成的口径来源、(c) 当后面各表各列对应的场景入口;三栏数值都是图内已写出的文字,画面本身不作读数。 来源:Learning Physics-Grounded 4D Dynamics with Neural Gaussian Force Fields(ICLR 2026 · arXiv:2602.00148v2)· 图 3 · 未修改引用(CC BY-NC-SA 4.0)

仿真之外还有一条真实来源,工序在附录 C.3。采集用 10 台 DJI Pocket 3 环绕桌子布置在标准办公环境里,相机都标定到同一套内参以保证几何一致;为造出受控动力学,物体用透明鱼线吊起再放开,保证每个物体从静止开始;一共录了 40 段动态序列、50 FPS、3K 分辨率,物体集含可乐罐、泰迪熊与橡皮鸭,能拼出不同质量与材质的两物体、三物体交互(原文 §C.3.1, p.25)。处理时每段从释放瞬间裁到物体静止、通常 50 至 60 帧,每帧标轴对齐包围盒(半自动 SAM2 加人工修正),跨视角同步后用前馈预训练的高斯泼溅模型重建、再用 DiffSplat 精修,得到多视图一致的 3D 高斯(原文 §C.3.2, p.26)。两条来源分工不同,仿真给出带真值的动力学与大体量,真实数据负责跨过 sim-to-real 那一档的检验。

任务这一侧分成两层。第一层是动态预测,原文把它表述为在显式力场上的神经算子学习,用四个泛化维度来考:空间泛化考未见物体位置上的力场预测;时间泛化考超出训练序列长度的长期稳定性与精度;组合泛化考新物体组合与向 4 至 6 物体的扩展;外力泛化考先前未见的扰动与干预下的适应性(原文 §4.2, p.5)。第二层是可控生成,原文从视频生成的角度出发,不再假设初始场景有真值 3D 高斯,改从 RGB 图像现取,也考四个维度:组合生成考新物体排布与超过训练复杂度的六物体场景;新视角生成考未见相机视角下的时空一致性,要求把动力学与外观解耦;新背景生成考新视觉上下文下的鲁棒性;交互生成通过外部扰动探查因果理解,把学到的物理与轨迹记忆区分开(原文 §4.3, p.7)。第二层里的交互生成是力场显式带来的入口,外力以力提示的形式注入、响应由积分生成(原文 p.7)。

评测按任务分开定义,划分也一并挂上去。动态预测用 RMSE、FPE 与相关系数 R 三条,考轨迹的位置精度、末位置稳定性与时间一致性;视频生成用 PhysR 与 PhotoR 两条,考物理真实度与视觉真实感,两条都同时走视觉语言模型的自动评测与人因问卷(原文 §C.2, p.23–p.25)。落到划分上,动态预测的空间、时间与组合三档分别挂在第 3_9 组的新放置、100 步的更长 rollout、以及第 4 与第 6 组的 4 至 6 物体新组合上;视频生成在组合、新视角、新背景之外另设一个综合档,把多因子联合起来、轨迹延长到 100 步即两秒(原文 §A.3, p.19)。数据的两条来源、任务的两层与评测的两套尺子,出处分别在原文 §4.1 与附录 A.1、A.3、C.2、C.3(原文 p.5、p.17、p.19、p.24、p.25)。

9主结果 · 动态预测:三个泛化维度上的账,与两处跨附表分歧

第 8 章把三档泛化划分与 2,700/500 的场景数摆好,接下去要把动态预测这份总账摊开。原文在 §4.2(p5)先把考核定成四个泛化维度:空间泛化考未见物体位置上的力场预测,要求超出训练配置的空间外推;时间泛化考超出训练序列长度的长期稳定性与精度;组合泛化(Lake 与 Baroni, 2023)考新物体组合与向更大规模多体系统(4–6 物体)的扩展;外力泛化考在先前未见的扰动与干预场景下的适应性。表 9-1 覆盖的是前三维,第四维落到第 10 章的交互生成去讲。

对手分两条线(原文 §4.2, p5):基于粒子的 GCN(Kipf 与 Welling, 2017)与 Pointformer(Wu et al., 2024b),以及用 VLM 估计参数的 MPM 物理引擎基线(Chen et al., 2025,记作 VLM-MPM);基线与指标的细节在 §C.1 与 §C.2。表 9-1 的表注把四个指标的口径写死:RMSE 量预测轨迹与真值轨迹之间的位置精度,FPE 量长期稳定性,R 是相关系数、量时间一致性,Time 是 100 个仿真步上的平均推理耗时,箭头标出越大越好还是越小越好。表里另有一行 NGFF w/o deform.,表注说明它是关掉软体形变建模的消融,用来隔离局部应力场预测的贡献。

表 9-1 动态预测在各泛化维度上的定量结果 (原文 Table 1, p.6 · 数值取原文文字层,逐格未改)

原文表注:Table 1: Dynamic prediction performance across generalization scenarios. We evaluate models using four key metrics: Root Mean Squared Error (RMSE) between predicted and ground-truth trajectories for positional accuracy, Final Position Error (FPE) for long-term stability, correlation coefficient R for temporal consistency, and average inference time over 100 simulation steps for computational efficiency. Arrows indicate whether higher (↑) or lower (↓) values represent better performance. The ablation study NGFF w/o deform. demonstrates our framework's performance when soft body deformation modeling is disabled, isolating the contribution of local stress field prediction. 本表 Compositional 一列与附录表 A4(p.31)的 Compositional-4/Compositional-6 两行口径不同,正文引用一律按本表值。
ModelSpatial RMSE↓Spatial FPE↓Spatial R↑Temporal RMSE↓Temporal FPE↓Temporal R↑Compositional RMSE↓Compositional FPE↓Compositional R↑Time (s)↓
VLM-MPM0.3060.7740.2990.3280.9010.3000.3580.9040.30539.29
GCN0.1340.4790.4060.1740.5900.4000.1450.5090.3470.346
Pointformer0.0960.3940.6230.1290.5370.6040.1620.5940.4340.183
NGFF w/o deform.0.1100.4590.5950.1440.6000.5780.1310.5460.5150.303
NGFF0.0820.3260.6610.1070.4190.6520.1040.4090.5710.363

表 9-1 里真正要盯的是三组列加末列:Spatial 段的 RMSE/FPE/R、Temporal 段的同三列、Compositional 段的同三列,以及 Time。NGFF 那一行读出来是 Spatial 0.082/0.326/0.661、Temporal 0.107/0.419/0.652、Compositional 0.104/0.409/0.571、Time 0.363。一行行看下来,最强的是 Pointformer:Spatial 0.096/0.394/0.623、Temporal 0.129/0.537/0.604、Compositional 0.162/0.594/0.434、Time 0.183;GCN 整体更弱,Spatial 只到 0.134/0.479/0.406;VLM-MPM 在九个精度列上全面落后,Time 到 39.29。消融那一行 NGFF w/o deform. 读作 0.110/0.459/0.595(Spatial)、0.144/0.600/0.578(Temporal)、0.131/0.546/0.515(Compositional),逐段都比完整模型差,与表注所说隔离局部应力场预测的贡献对得上。

把差算出来更直观,以下差值都是本站按表 9-1 现算,原文只给结论句(原文 §4.2, p6–p7),未给任何差值。以最强对照组 Pointformer 为基准:Spatial 段 RMSE 0.096 → 0.082,低 0.014;FPE 0.394 → 0.326,低 0.068;R 0.623 → 0.661,高 0.038。Temporal 段 RMSE 0.129 → 0.107,低 0.022;FPE 0.537 → 0.419,低 0.118;R 0.604 → 0.652,高 0.048。Compositional 段 RMSE 0.162 → 0.104,低 0.058;FPE 0.594 → 0.409,低 0.185;R 0.434 → 0.571,高 0.137。三段的增益并不均等,拉开最多的是 Temporal 的 FPE 与 Compositional 的 FPE/R,这与原文那句「在长期动力学与多物体推理场景上的提升尤其显著」是同一个方向。速度这一项按 Time 列现算:39.29 ÷ 0.363 ≈ 108,对 VLM-MPM 约两个数量级,与摘要里 two orders of magnitude speedup 的说法对得上;同一列换到 Pointformer 身上是 0.363 对 0.183,本篇在这一项不占优。

有两处读数需要单独摆出来,两处的判断都来自逐格比对,原文都未作说明。第一处落在 Compositional 那一列。附录表 A4(p31)把主表的 Compositional 一段拆成 Compositional-4 与 Compositional-6 两行,NGFF 的两行读数分别是 0.09533/0.37274/0.59444(4 物体)与 0.11268/0.44583/0.54707(6 物体),而表 9-1 的单值 0.104/0.409/0.571 落在两行之间,对不上任何一行的取整结果;NGFF w/o deform. 同型,表值 0.131/0.546/0.515 落在 A4 的 C-4(0.13031/0.54689/0.52474)与 C-6(0.13249/0.54564/0.50577)之间。同一次比对里,Spatial 与 Temporal 两段却逐格吻合:NGFF Spatial 0.082/0.326/0.661 对 A4 的 0.08199/0.32576/0.66111,NGFF Temporal 0.107/0.419/0.652 对 0.10711/0.41933/0.65238,取整后完全一致。一段对得上、一段对不上,两处并列写在这里;主表 Compositional 的聚合口径(是否按 4/6 物体样本数加权、是否另有样本池)原文未交代,本站不替作者归因,正文引用一律按主表值走。

第二处落在 Time 列,同一篇里有三套口径并存。表 9-1 给的是 NGFF 0.363s,表注写明它量的是 100 个仿真步上的平均推理耗时;附录表 A5(p31)给的是 NGFF-V 37s(3 objects)/72s(6 objects),表注写明量的是视频生成;A5 正文(p31)又写 NGFF-V「attains efficient inference(2.5s per sequence on a single H100 GPU)」。0.363s 与 37s/72s 分属动态预测与视频生成两个任务,2.5s 与 37s 却落在同一小节里,口径疑为 per-step 与 per-sequence 之别,原文未标。正文引用一律带口径原文,不自行换算,也不把三套数摆进同一个坐标系。

动态预测方法的定性对比:每行一种方法在相同初始条件下的时序预测
图 9-1 E 类·证据 · 原文 Figure 4, p.6 · 原样引用 怎么读 ①指认:一张纯图像网格,每行是一种方法在相同初始条件下、时间自左向右推进的预测,场景含枕头、绳子这类可形变体与球、容器这类刚体的刚柔耦合交互,文字层里只有极少数行内标签,图内已写出的行名为 GT/NGFF/GCN/Pointformer/VLM-MPM。②读法(怎么读):图注原话是 NGFF 在长 rollout 中保持物理一致的轨迹与真实形变,而基线出现 drift、不真实动力学或计算不稳定;画面本身不读值,更多可视化见 §F.1。 来源:Learning Physics-Grounded 4D Dynamics with Neural Gaussian Force Fields(ICLR 2026 · arXiv:2602.00148v2)· 图 4 · 未修改引用(CC BY-NC-SA 4.0)

原文对这批读数的结论落在两句(原文 §4.2, p6–p7):NGFF 在所有泛化维度上一致优于所有基线,在长期动力学与多物体推理场景上的提升尤其显著;相较传统 MPM 模拟器快约两个数量级,同时保持更优精度。前一句对应表 9-1 的九个精度列,后一句对应 Time 列里 0.363 对 39.29 那一对,而图 9-1 给的是同一批场景的定性画面,行名照录在图注里。

四个泛化维度与两条基线口径写在原文 §4.2(p5–p6),表 9-1 与图 9-1 同在 p6,跨附表的两处读数分别出自附录表 A4 与 A5(p31)。

10视频生成与交互生成:物理真实度领先,视觉真实感让位

第 9 章的读数在真值高斯上评,这一章换一个入口再做一遍:初始场景的 3D 高斯改为从 RGB 图像现拿(原文 §4.3, p7)。评测同样摊成四个维度:组合生成考新物体排布与扩展到超过训练复杂度的六物体场景;新视角生成考未见相机视角下的时空一致性,要求解耦动力学与外观;新背景生成考新视觉上下文下的鲁棒性、同时保住物理合理性;交互生成通过外部扰动探查因果理解,把学到的物理与轨迹记忆区分开。

表 10-1 把四个划分与两台评估器排在一张表里。划分是 Comp./NB/NV/All,表注说明 All 把三项泛化挑战合在一起;评估器分 VLM Eval. 与 Human Eval. 两组,每组各含 PhysR 与 PhotoR 两列,四列都是越大越好,PhysR 量物理准确度、PhotoR 量视觉质量。表注另有一条口径要带上:Cosmos 用的是现有视角做标准新视角泛化,而 NGFF 做的是更难的、需从完全未见相机视角生成的新视角合成。原文补了一句方法侧的解释,视频生成这一步不假设初始场景的真值 3D 高斯(原文 §4.3, p7)。

表 10-1 视频生成在各泛化划分上的定量结果 (原文 Table 2, p.7 · 数值取原文文字层,逐格未改)

原文表注:Table 2: Video generation performance across generalization scenarios. Performance metrics (higher is better) evaluated on compositional (Comp.), novel-background (NB), novel-view (NV), and comprehensive (All) splits testing different aspects of generalization capability. The comprehensive split combines all three generalization challenges. Note that Cosmos performs standard novel-view generalization using existing viewpoints, while NGFF tackles the more challenging novel-view synthesis task requiring generation from entirely unseen camera perspectives.
ModelSplitVLM Eval. PhysRVLM Eval. PhotoRHuman Eval. PhysRHuman Eval. PhotoR
CosmosComp.0.340.420.290.43
CosmosNB0.260.460.300.41
CosmosNV0.390.420.260.39
CosmosAll0.200.320.280.41
Cosmos tunedComp.0.260.350.570.58
Cosmos tunedNB0.380.360.600.60
Cosmos tunedNV0.490.400.630.62
Cosmos tunedAll0.240.360.590.58
NGFF-VComp.0.470.420.560.55
NGFF-VNB0.560.420.630.61
NGFF-VNV0.440.380.550.54
NGFF-VAll0.300.350.550.55
Veo3All0.290.410.530.64
PhysGen3DAll0.190.350.570.58

表 10-1 里主体是 NGFF-V、Cosmos 与 Cosmos tuned 三家各四行。NGFF-V 读作 Comp. 0.47/0.42/0.56/0.55、NB 0.56/0.42/0.63/0.61、NV 0.44/0.38/0.55/0.54、All 0.30/0.35/0.55/0.55;Cosmos 原版在 All 上是 0.20/0.32/0.28/0.41;Cosmos tuned 在 All 上是 0.24/0.36/0.59/0.58。Veo3 与 PhysGen3D 各只有 All 一行,Veo3 是 0.29/0.41/0.53/0.64,PhysGen3D 是 0.19/0.35/0.57/0.58。

差值按表 10-1 现算,原文未给差值。物理合理度这一维,NGFF-V 对 Cosmos 原版:VLM Eval. 上 Comp. 0.47 对 0.34(高 0.13)、NB 0.56 对 0.26(高 0.30)、NV 0.44 对 0.39(高 0.05)、All 0.30 对 0.20(高 0.10);Human Eval. 上 Comp. 0.56 对 0.29(高 0.27)、NB 0.63 对 0.30(高 0.33)、NV 0.55 对 0.26(高 0.29)、All 0.55 对 0.28(高 0.27)。Cosmos 微调前后的差也按同一张表现算:Human Eval. PhysR 上 Comp. 0.29 → 0.57(高 0.28)、NB 0.30 → 0.60(高 0.30)、NV 0.26 → 0.63(高 0.37)、All 0.28 → 0.59(高 0.31)。

视觉真实感那一列要单独看。Human Eval. PhotoR 上 Veo3 的 All 读数是 0.64,比 NGFF-V 的 0.55 高 0.09,也比 PhysGen3D 的 0.58 与 Cosmos tuned 的 0.58 高(按表值现算);换到 Cosmos 原版那一侧,NGFF-V 的 PhotoR 反而占优,All 0.55 对 0.41,高 0.14。把 NGFF-V 四行摆开,PhotoR 分别是 0.55/0.61/0.54/0.55,最高的一格是 NB 的 0.61,仍低于 Veo3 那一格 0.64。这一列的队形与 PhysR 相反,原文对此的态度是把取舍写明(原文 §4.3, p7):NGFF 在未见场景的物理准确度上显著优于现有方法,同时在 3D 重建误差带来适度退化的情况下仍具竞争力的视觉质量。作者摆上台面的这是一处取舍:物理接地那一维换来领先,照片真实感那一维让出第一。VLM Eval. 的 PhotoR 一列三家的差距要小得多(All 上 NGFF-V 0.35、Veo3 0.41、PhysGen3D 0.35)。

Cosmos tuned 这一组也要摆清楚,它在若干格上仍占优。VLM Eval. PhysR 上 NGFF-V 的 All 0.30 高于 Cosmos tuned 的 0.24,NV 上 0.44 低于 0.49;Human Eval. PhysR 上 NGFF-V 的 All 0.55 低于 Cosmos tuned 的 0.59,NB 上 0.63 高于 0.60。两列给出的胜负在不同划分上不完全同向,如实并列;Cosmos 微调在真实世界那一步的代价接在第 11 章。

外力扰动下的交互生成:红箭头标出施加的力,NGFF 与 Cosmos、Veo3 的对照
图 10-1 E 类·证据 · 原文 Figure 5, p.6 · 原样引用 怎么读 ①指认:三行图像,红箭头标出施加的力的方向,左例是对倒地的枕头施向上升力,右例是对布施向左的力、影响球的运动,图内已写出的行名为 Veo3/Cosmos/NGFF。②读法(怎么读):图注原话是 NGFF 对干预给出物理一致的响应,而基线(Cosmos、Veo3)生成违反物理约束的不真实动力学;基线 prompt 照录为 Cosmos 的 modify the pillow...to show a significant, sudden external force stretching it upward into the air, with interactions with panda and miku,以及 Veo3 的 modify the clothing...to show a significant, sudden external force stretching it leftward;画面本身不读值。 来源:Learning Physics-Grounded 4D Dynamics with Neural Gaussian Force Fields(ICLR 2026 · arXiv:2602.00148v2)· 图 5 · 未修改引用(CC BY-NC-SA 4.0)

交互生成这一项在本篇里靠的是显式力场能把外力当控制信号注入,原文在 §4.3(p7)把它的分量写得最重:通过基于 ODE 的力建模,NGFF 对外部干预给出物理一致的响应,而对手在扰动下失守。图 10-1 的两例一份是对枕头施向上升力、一份是对布施向左的力,图注给出的对照说明基线的输出违反了物理约束。把这一项与表 10-1 合看,交互生成不在四个划分的列里,它另占一图的位置,说明作者把它当作与组合、新视角、新背景并列的第四类证据。

生成质量本身另有一图。表 10-1 的四列读数之外,图 10-2 换到一批多样场景,把时序序列按方法排开。

视频生成质量对比:NGFF 与 Veo3、Cosmos、PhysGen3D 的时序序列
图 10-2 E 类·证据 · 原文 Figure 6, p.8 · 原样引用 怎么读 ①指认:一组时序序列网格,把 NGFF 与视频生成基线在多样场景下的时序排在一起,图内已写出的方法名为 Veo3/Cosmos/PhysGen3D/NGFF 与 GT。②读法(怎么读):图注原话是 NGFF 全程保持物体形状一致、物理合理的交互与一致的背景,而基线出现形状畸变、不真实动力学与违反物理约束的场景不一致;画面本身不读值。 来源:Learning Physics-Grounded 4D Dynamics with Neural Gaussian Force Fields(ICLR 2026 · arXiv:2602.00148v2)· 图 6 · 未修改引用(CC BY-NC-SA 4.0)

原文另有一条方法侧的可解释性说明(原文 §4.3, p7):物体中心的高斯表示使新视角与新背景的同时生成成为可能,这条能力对应表 10-1 里 NB 与 NV 两列,而 All 那一列把三项挑战合在一起、读数整体低于单项。这里还要补一处耗时的账。附录表 A5(p31)逐行给出各方法的推理时间:NGFF-V 37s(3 objects)/72s(6 objects)、NGFF-V(w/o refine)12s/19s、PhysGen3D 400s/590s、Cosmos-predict2-2B 20s、Veo3 11–360s(via API)。有一组读数本站不采信:NGFF-V、Pointformer-V 与 GCN-V 三行的耗时完全相同(37s/72s),原文未说明是否共用一个计时基准或为版面复制,正文不引用这一列;同表里 3 objects 的 37s 到 6 objects 的 72s 接近翻倍,原文未给解释。

四个维度的口径写在原文 §4.3(p7),表 10-1 在 p7、图 10-1 在 p6、图 10-2 在 p8,耗时表见附录表 A5(p31),人因分布图 A2 与 A3(p25–p26)只作行内引用、画面数据点不引用。

11真实世界迁移与讨论:sim-to-real 的那一步,与作者自陈的三笔账

第 10 章的对手都在合成评测集上评,这一章把训练好的模型搬到实验室外。原文 §4.4 开头(p7)先立住难处:真实世界部署带来根本挑战,因为感知精度与物理属性估计上都有 sim-to-real 鸿沟;评测方式是把训练好的模型用到真实场景,并把预测与观测行为对比。

对比结果落在几句原话上(原文 §4.4, p8):竞品产出视觉上讨喜的结果,却系统性地抓不住准确的重力效应与真实的物体交互;在本站合成数据上微调 Cosmos 会带来 overfitting 行为、降低真实世界可靠性;NGFF 生成的轨迹与观测到的真实物理紧密吻合,显示学到的力场动力学跨过 sim-reality 鸿沟的有效迁移;结果还显示模型能泛化到未见物体及其组合。这几句里第二句与最后一句都要留到边界里再算一次账。

真实世界验证:(a) 多视角采集装置、(b) 初始多视角帧、(c) 与真值的模型对比
图 11-1 E 类·证据 · 原文 Figure 7, p.8 · 原样引用 怎么读 ①指认:图分 (a)(b)(c) 三块,(a) 是用 10 台 Pocket 3 相机记录物体掉落实验的多视角采集装置,(b) 是真实场景的初始多视角帧,(c) 是与真值的模型对比,图内已写出的方法名为 Real/Veo3/Cosmos-base/Cosmos-tuned/GCN/Pointformer/NGFF,并标出 Time 1 到 Time 5 五个时间档。②读法(怎么读):图注原话是视频生成模型产出视觉上讨喜的结果,却出现物体幻觉、不真实重力与错误碰撞动力学等物理不一致,而 NGFF 表现出更优的物理准确度与和真实世界动力学的一致性;画面本身不读值。 来源:Learning Physics-Grounded 4D Dynamics with Neural Gaussian Force Fields(ICLR 2026 · arXiv:2602.00148v2)· 图 7 · 未修改引用(CC BY-NC-SA 4.0)

采集与处理的口径都在附录 C.3。C.3.1(p25)交代:用 10 台 DJI Pocket 3 相机环绕桌子、置于标准办公室环境;相机标定到相同内参以保证几何一致;用透明鱼线吊起再放开物体以诱发受控动力学,保证每个物体从静止开始;共录 40 段动态序列、50 FPS、3K 分辨率;物体集含可乐罐、泰迪熊、橡皮鸭,可造出不同质量与材质的两物体/三物体交互。这里有一处口径要标出来:真实物体集里的可乐罐与橡皮鸭与训练 10 类里的 can、duck 同名,泰迪熊与 10 类里的 panda 对不上同一种物体,「泛化到未见物体」这句具体落在哪些物体、与训练类的对应关系如何,原文未逐条列,此处标为待核。C.3.2(p26)交代后处理:每段从释放瞬间裁到物体静止,通常 50–60 帧;每帧标轴对齐包围盒(半自动 SAM2 加人工修正);跨视角同步后用前馈预训练高斯泼溅模型重建、并用 DiffSplat 精修,得多视图一致的 3D 高斯;代表片段见附录图 A4/A5/A6(p27–p29),只作行内引用。这批真实数据的规模是 40 段序列,与动态预测那 500 个测试场景不在一个量级,真实侧的证据因此以定性对照为主。

讨论章的自陈摊在 §5(p8–p9)四条。其一,从最小观测预测 4D 物理动力学:NGFF 目前需要多视图输入才能可靠重建 3D 高斯,而人类物理推理常从单视图或部分视图出发,这个 observation-reconstruction gap 被作者称为资源受限或动态环境下部署物理感知模型的根本挑战,缓解要靠把更强的几何与物理先验接进重建管线,比如大规模预训练或生成式补全。其二,扩展到多样物体与复杂场景:当前评测只跨 10 类代表性物体(刚柔两类),真实应用要处理成千上万种物体类型、关节结构与复杂环境交互,扩展到户外光照、天气、表面条件还有额外挑战。其三,可解释的物理接地理性:相对黑箱视频生成,NGFF 的优势在显式中间表示(3D 几何、力场、物体中心状态)给出可解释的推理窗口,未来可做反事实 what-if 推理与组合推理。其四,视觉质量与物理接地之间的取舍:2D 视频生成在照片真实感上出色、天然捕捉复杂光照与阴影,却常缺物理接地;3D 预测模型保证显式物理动力学,但目前受重建伪影与简化渲染所限。前两条是能力边界,后两条一条讲长处、一条讲代价。

结语与可复现声明各一段。§6(p9)写框架通过高斯表示上的显式力场建模桥接 3D 感知与物理仿真,展望最小观测需求、多样物体类别与复杂环境条件,并称力场表示的显式可解释性为因果物理推理与科学发现类研究提供基础。Reproducibility statement(p9)把数据生成、模型实现、基线设置、评测指标、真实数据采集分别指向 Section A/B/C.1/C.2/C.3,末句原话是 Both the data and code will be released,写作时点尚未放出。

真实侧的口径写在原文 §4.4(p7–p8)与附录 C.3.1/C.3.2(p25–p26),图 11-1 在 p8,四条自陈与展望分别在 §5(p8–p9)与 §6(p9),数据与代码的发布承诺在 Reproducibility(p9)。

12附录的实现细节、消融与人因实验,并收 8 条边界

第 11 章把作者自陈的让步摊到台面上,这一章把附录里能被挑刺的几件事摆出来,末尾收八条边界。训练超参在附录 B.3(p21):8×NVIDIA H100 80GB、1001 epochs、48 小时;学习率从 1×10⁻⁵ 衰减到最小 1×10⁻⁷;架构 4 层、隐藏维 200;batch size 9 per node;每 epoch 80 步、chunk 80;ODE 方法用 Euler、步长 2×10⁻²;训练时碰撞检测阈值 5×10⁻²。B.3 把框架拆成 Interaction Network、StressNet、边界与碰撞模块、torchdiffeq 上的时间演化四块,其中碰撞力被 intersection matrix 掩蔽、边界力由专门网络预测。

基线设置摊在附录 C.1(p22–p23)。GCN 用单张 H100 80GB,学习率 1×10⁻³ 衰减到 1×10⁻⁴,4 层、隐藏维 128,batch 30,500 epochs。Pointformer 用 4×H100 80GB 训 60 小时,学习率 5×10⁻⁴ 衰减到 5×10⁻⁶,3 层、隐藏维 128、dropout 0.1,2001 epochs。VLM-MPM 用 Gemini-2.5-flash 从 20 个训练视频估计杨氏模量与密度。Cosmos-Predict2 对 Cosmos-Predict2-2B-Video2World-480P-16FPS 全参微调,用 216K video clips(17.28 million frames、448×448),8×H100、20,000 iterations、学习率 2.5×10⁻⁴、global batch 24。PhysGen3D 从单张静态图出发、重建后交给 MPM 模拟,原文自陈它受单视图重建所限。Veo3 是 SOTA 扩散视频生成模型,原文自陈它在碰撞等费力事件上仍常违反牛顿物理或物体永久性。

评测指标在附录 C.2(p23–p24)。动态预测用 RMSE/FPE/R,视频生成用 PhysR 与 PhotoR;PhysR 量物理准确度,PhotoR 量整体视觉质量。两项都由 Gemini-2.5-flash 评,10 个均匀采样帧、0–1 分、保留 2 位小数。四条指标的完整定义在附录式 (A1) 到 (A4):附录式 (A1) 是 RMSE,附录式 (A2) 是 FPE、即预测与真值的末位置之差,附录式 (A3) 是 PCE、量位置变化之差,附录式 (A4) 是相关系数 R;这四条只在这里点名,不另行落式块。原文另说明 Veo3 与 PhysGen3D 闭源或不可训,故借 PhysGen3D 的定性框架评估视频生成质量。

人因实验在附录 C.2 末(p25)。招募 61 名被试完成一份 80 页问卷;开头详细解释两个指标;每页含一个从全部模型与泛化划分里随机挑的 2–3 秒视频;被试按 PhysR 与 PhotoR 打分。附录图 A1 是问卷样例、图 A2 是 PhysR 分布、图 A3 是 PhotoR 分布,三图只作行内引用;每页视频的模型分配比例与被试间一致性原文未给,标为待核。

消融与效率在附录 E(p31)。表 A4 比 NGFF 与「关掉形变建模」的变体,结论是显式建模形变一致地提升预测精度(更低的 MSE/RMSE/PCE/FPE、更高的 PCC)。本站按表 A4 现算,NGFF 相对 w/o deform.:Spatial 的 RMSE 从 0.10971 降到 0.08199(低 0.0277),Temporal 从 0.14403 降到 0.10711(低 0.0369),Compositional-4 从 0.13031 降到 0.09533(低 0.0350),Compositional-6 从 0.13249 降到 0.11268(低 0.0198),原文未给差值。表 A5 给推理时间:NGFF-V 37s/72s、NGFF-V(w/o refine)12s/19s、PhysGen3D 400s/590s、Cosmos-predict2-2B 20s、Veo3 11–360s(via API);按表值现算,去掉精修约省 2–3 倍(37s 对 12s、72s 对 19s),对 PhysGen3D 快约 8–11 倍(400s 对 37s、590s 对 72s),原文只给绝对值、未给倍数。表 A5 正文另称 NGFF-V「2.5s per sequence」,与表里的 37s/72s 并存,原文未标口径。

三处跨口径的账要在收边界前摆清。其一,表 9-1 的 Compositional 列与附录表 A4 的 C-4/C-6 两行都不吻合,而 Spatial/Temporal 两段逐格吻合,见第 9 章。其二,表 9-1 的 Time 列 0.363s、A5 表的 37s/72s 与 A5 正文的 2.5s per sequence 三套并存。其三,数据集规模有 640k(≈4TB)、4.25 TB、216K clips 三处数字,各自带出处。

边界 1:多视图是硬前提,单视图推理的缺口仍在。 原文 §5(p8)写的是 NGFF 目前需要多视图输入才能可靠重建 3D 高斯,而人类物理推理常从单视图或部分视图出发;这个 observation-reconstruction gap 被作者称为资源受限或动态环境下部署物理感知模型的根本挑战。图 11-1(a) 那套装置就是 10 台相机(附录 C.3.1, p25),真实侧那 40 段序列也都是多视图采集。

边界 2:物体类别与场景的覆盖面窄 —— 10 类物体、实验室场景。 原文 §5(p9)写当前评测只跨 10 类代表性物体(刚柔两类),而真实应用要处理成千上万种物体类型、关节结构与复杂环境交互,扩展到户外光照、天气、表面条件还有额外挑战。这与 §4.1(p5)的 10 类物体、3,200 场景、2,700 训练/500 测试同源;真实侧物体集只有可乐罐、泰迪熊、橡皮鸭三样(附录 C.3.1, p25),场景是标准办公室。

边界 3:视觉真实感是让位给物理接地的。 原文 §5(p9)写 2D 视频生成在照片真实感上出色,却常缺物理接地;3D 预测模型保证显式物理动力学,但目前受重建伪影与简化渲染所限。表 10-1 的账对得上:Human Eval. PhotoR 一列 Veo3 的 All 是 0.64,高于 NGFF-V 的 0.55(本站按表值核对)。

边界 4:微调也会学坏 —— Cosmos 在合成数据上微调后反而更不可靠。 原文 §4.4(p8)写在本站合成数据上微调 Cosmos 会带来 overfitting 行为、降低真实世界可靠性。表 10-1 的 Cosmos tuned 行在 Human Eval. PhysR 上确实比原版高(All 从 0.28 升到 0.59,本站按表值核对),但那是评测集内的增益,真实世界那一步 §4.4 明确说它失守。

边界 5:跨表读数不自洽,引用前先声明用哪一张表。 其一,表 9-1(p6)的 Compositional 列与附录表 A4(p31)的 Compositional-4/Compositional-6 两行都不吻合:表值 NGFF 0.104/0.409/0.571 落在 A4 的 0.09533/0.37274/0.59444 与 0.11268/0.44583/0.54707 之间,而 Spatial/Temporal 两段与 A4 逐格吻合(取整后一致)。其二,表 9-1 的 Time 列 0.363s、A5(p31)的 37s(3 objects)/72s(6 objects)与 A5 正文的 2.5s per sequence 三套口径并存,原文未标口径。以上为本站逐格核对。

边界 6:数据集规模的数字在原文里有多套口径。 摘要(p0)写 640k rendered physical videos(≈4TB);图 3 注(p5)写 totaling 4.25 TB across 3,200 scenes and 640k videos;附录 C.1.4(p23)用于 Cosmos 微调的又写 216K video clips 与 17.28 million frames。4 TB 与 4.25 TB、640k videos 与 216K clips 各自带出处,不合并成一个数(本站核对)。

边界 7:多处实现细节原文未给。 关系图里 kNN 的 k 未给(§3.2.2);仿真域只说立方网格、分辨率未给(附录 A.1, p17);高斯个数 M 未给数(§3.1);投影矩阵 W 的维度 d_hidden 与 d_force 只给符号(式 5-1 与附录 B.3, p21);Time (s) 的测量口径只在表 9-1 表注写为 100 个仿真步上的平均推理耗时,per-step 与 per-sequence 之别未明;人因每页视频的模型分配比例与被试间一致性未给(附录 C.2, p25)。正文一律写符号或标待核,不替作者填数。

边界 8:许可与发布层面的边界。 许可依据是 arXiv 摘要页的 CC BY-NC-SA 4.0,PDF 内一处许可字样都没有;NC 不商用、SA 演绎须同许可,本站的处置是 9 件图元原样零加工引用,文末走站内件与 canonical 双链接、卡片标 CC BY-NC-SA 4.0 并写明依据。发布一侧,Reproducibility statement(p9)原话是 Both the data and code will be released,写作时点尚未放出,正文不把未发布的资源写成已发布。

13贡献块

这一篇的贡献(精读视角)

贡献块

这一篇的贡献可以按「把缺口说准」与「把力场学进网络」两条线收。

第一条是缺口的说法。摘要把它立得很干净:视频生成模型视觉上已经很能看,但没有显式的物理建模,会违反重力与物体恒存这类最基本的规律;另一条路是把 3D 高斯泼溅接上传统物理引擎,物理上自洽了,代价是算得极慢、也难应付复杂的多物体交互。于是要解的问题被写成一句话:要一个能从视觉观测里直接学出物理接地表示、同时还能算得动、还能泛化的统一框架。方法起名 NGFF(Neural Gaussian Force Field)。

第二条是力场学进网络这件事。做法分三段接:用冻结的视觉基础模型(Point Encoder/π3/SAM 2/DiffSplat 这条链)把多视图 RGB 变成可分实例的 3D 高斯;从高斯的邻域关系里学全局变换力场与局部逐点应力场(式 5-1、5-2),合成统一力场(式 6-1);再拿力场去解 ODE —— ODESolve(z_q(0), F, 0, t) 解出轨迹(式 6-2)、对位置做二重时间积分(式 6-3)。这套设计的关键在于位移是积分出来的物理量,而不是网络凭画面记忆拼出来的,这正是它能谈「空间/时间/构成三种泛化」的底气。力场之间还留了外部力的位置,交互因此能在同一套表示里做。

第三条是账。速度:摘要写的是比先前的高斯仿真器快两个数量级;本站按表 9-1 复算,本篇 0.363s 对 VLM-MPM 的 39.29s 是 ≈108 倍,附表 A5 上对 PhysGen3D 是 37s 对 400s、72s 对 590s(8–11 倍)—— 但同一列对 Pointformer 的 0.183s,本篇并不占优,正文如实并列。动态预测:对最强对照 Pointformer,三个泛化维度全部占优(表 9-1:RMSE Spatial 0.082 对 0.096、Temporal 0.107 对 0.129、Compositional 0.104 对 0.162;FPE 与 R 同向)。可控生成:人类评测的物理合理性上 NGFF-V 对 Cosmos 是 0.56 对 0.29,Human 侧多档领先 0.27–0.33;视觉真实感上让位 —— 表 10-1 里 Veo3 的 PhotoR 0.64 高于 NGFF-V 的 0.55,原文自己也说 2D 生成在照片真实感上出色、3D 预测模型受重建伪影与简化渲染所限,这是作者写在明面上的取舍。数据集 GSCollision 是自己造的:10 类代表性物体(刚柔两类)、3,200 个场景、640k 段渲染视频;训练配置 8×NVIDIA H100 80GB、1001 epochs、48 小时(附录 B.3)。

本站在文里额外做了三件事,都属于精读该做的核对,没有替作者下判断。第一,把 2 张表按原文文字层逐格取出来重排(共 106 格),并用一条完全独立的路径(按「页 + y 带 + 阅读顺序」)重抽复核,跑到 零差异。第二,把三处跨附表不行摆到台面上:表 9-1 的 Compositional 列与附表 A4 的 Compositional-4(0.09533/0.37274/0.59444)与 Compositional-6(0.11268/0.44583/0.54707)都不吻合(表值 0.104/0.409/0.571 落在两行之间),而 Spatial/Temporal 两段逐格吻合;Time 列三套口径并存(0.363s/2.5s per sequence/37s(3)),疑为 per-step 与 per-sequence 之别而原文未标;附表 A5 里 NGFF-V/Pointformer-V/GCN-V 三行耗时完全相同(37s/72s)⇒ 该列不采信。第三,把数据集体量的多套口径各自带出处并列:摘要 ≈4TB、图 3 注 4.25 TB、附录 C.1.4 216K video clips/17.28M frames、附录 A.2 的 4.250 T,不合并、不取其一。

14原文出处块

原文出处

标题:Learning Physics-Grounded 4D Dynamics with Neural Gaussian Force Fields

作者:Shiqian Li、Ruihong Shen、Junfeng Ni、Chang Pan、Chi Zhang、Yixin Zhu。Shiqian Li 与 Ruihong Shen 为共同一作,Yixin Zhu 为通讯作者。单位是北京大学五处(人工智能研究院、心理与认知科学学院、信息科学与技术学院、元培学院、通用人工智能国家重点实验室)与清华大学自动化系,另挂北大行为与心理健康北京市重点实验室。

发表:ICLR 2026(The Fourteenth International Conference on Learning Representations)会议论文。预印本 arXiv:2602.00148v2 [cs.CV],v2 日期 2026-02-12。原文 43 页,Letter 开本双栏;正文含 5 个编号公式(另有附录 (A1)–(A4) 的评测指标式)、7 张图、2 张表,另有 4 页参考文献与 30 页附录(A 数据集与实现、B 方法细节含 B.3 训练配置、C 补充实验含 C.1 数据集统计、C.2 评测指标、C.3 人因实验)。

授权:CC BY-NC-SA 4.0。原文 PDF 内没有任何许可声明(逐页检索 Copyright、Creative Commons、CC BY、CC0、License、licensed 等词,一处未命中,只命中参考文献里的 arXiv preprint 串);本页所据的许可来自 arXiv 摘要页的 License 链接。该许可有两层约束需要在页面里写明:NC —— 非商业使用(本分区不做商用、不挂商业导流、无付费引导,落在此范围内);SA —— 演绎作品须以同许可发布。本站的处置是 7 张原图与 2 张表原样、零加工引用(未裁切拼接、未加标注、未施滤镜,表体按文字层逐格重排不改数值),因此不构成演绎;若日后对图作裁切、重绘或拼接,则须按 SA 以同许可发布。文末给出站内托管的 paper.pdf 与 arXiv canonical 双链接,并声明未对原文作任何修改;列表页卡片放 CC BY-NC-SA 4.0 chip。

附材料:原文首页给出项目页 https://neuralgaussianforcefield.github.io/。数据集 GSCollision 由作者自建(10 类物体、3,200 场景、640k 段渲染视频);对照方法含 Veo3、NVIDIA Cosmos、PhysGen3D、Pointformer、VLM-MPM 等。原文 §5 写「data and code will be released」,写作时尚未放出,本站不对该承诺的时点与仓库内容作任何描述或推断。

原文全文:站内托管 PDF(44.7 MB) · arXiv:2602.00148(canonical 版本)

本站按 CC BY-NC-SA 4.0(依据 arXiv 摘要页的 License 链接,PDF 内没有许可行)原样托管原文 PDF,未作任何修改(不裁切、不拼接、不加标注);引用时请标注 arXiv:2602.00148v2 与 ICLR 2026。

使用说明:本页是论文精读,未做全文翻译,也不代表原作者的观点汇总。正文里的方法描述、数值与结论均标注了原文出处(页码口径 [p.N],从 0 起);7 张图按实测包围盒从原文 PDF 裁取原样引用,未裁切拼接、未加标注、未施滤镜,逐图署名;2 张表按原文文字层逐格取值后以 HTML 重排,106 个数値格未改位数。本页的作者主张与本站的核对发现是分开写的:凡属作者主张(例如「视频生成模型缺显式物理建模、会违反重力与物体恒存」「接传统物理引擎那条路算得极慢」「视觉真实感与物理接地之间的取舍」)均标明是原文的判断;凡属本站核对(表格逐格取值与独立复核、表 9-1 与附表 A4/A5 的跨表不行、Time 三套口径、A5 同值列不采信、数据集体量多口径并列、速度与泛化增益的复算)均标为实读发现。文中所有数据以原文为准;跨表引用同一配置时,本站会指明取的是哪一张表的值(读数不一致时并列,不取其一)。若原文后续版本有修订,以 arXiv 最新版为准。