春晖杯 · 学术创新项目

面向具身智能的三维空间世界模型与
反事实推演关键技术研究

3D Counterfactual World Modeling for Embodied Intelligence
如果刚才换一个动作,世界会怎样不同?本项目研究事实轨迹条件下的三维反事实世界建模,面向动作干预预测对象状态、接触关系及其在三维空间中的连续演化。
魏晓宇
WEI XIAOYU
PROJECT DEMO
主展示视频 · 同一世界下的动作变化与三维后果
RESEARCH QUESTION

从 Action Difference 到 World Difference

我们关注的不是重新生成一个看似合理的未来,而是推演当动作发生改变时,这个具体三维世界中哪些对象与关系应该改变,以及哪些部分应当保持稳定。

Factual ContextAction Difference3D Intervention TransportContact CouplingStable Unaffected World
RESEARCH FLOW

事实观察 → 动作干预 → 三维反事实推演

以已发生的事实过程为条件,在保持同一动作前世界的前提下改变动作,并推演由此产生的对象状态与接触关系变化。

事实观察自动播放示例
01 · FACTUAL OBSERVATION

事实观察

先观察已经发生的三维运动过程,从事实轨迹中获得当前场景条件与动力学信息,为另一种动作下的推演提供约束。

动作干预自动播放示例
02 · ACTION INTERVENTION

动作干预

保持同一动作前世界状态,仅改变动作的方向与大小,构造明确、可比较的反事实干预条件。

三维反事实推演自动播放示例
03 · COUNTERFACTUAL 3D WORLD

三维反事实推演

推演新动作引起的对象位姿、接触关系与关联状态传播,使变化沿真实交互关系传递,同时保持未受干预区域稳定。

核心目标:改变动作,推演这个具体三维世界中真正应该改变的对象与关系。