Jim Fan 谈世界模型与机器人的未来

NVIDIA 机器人研究员 Jim Fan 以 2016 年首台 DGX-1 交付 OpenAI 的回忆开场。他以语言模型的快速发展为起点，提出机器人领域可能遵循的一条平行路径。

Fan 将语言模型的发展概括为预训练、指令微调、强化学习和自动研究。这是他对复杂历史的高层概括，用来引出研究议程，并非保证会发生的固定顺序。

他的“伟大平行”设想询问：模型能否预测物理世界状态、再用机器人动作微调，并通过强化学习改进。他把问题分成模型策略和数据策略。

Fan 认为视觉语言动作模型常把大量能力用于语言和语义知识，而物理运动需要更重视视觉动力学与动作。这是他的判断，并非对所有 VLA 系统已定论的比较。

视频模型可以生成涉及重力、反射和运动的可信场景，表明它们可能从视觉数据中学习有用规律。Fan 也展示了生成视频违反几何规则的迷宫例子，说明画面可信不保证物理正确。

他提出通过动作微调，把视频模型的预测与机器人行为连接起来。目标是让可能的未来视频空间有助于在特定物理环境中选择动作。

[DreamZero](https://arxiv.org/abs/2602.15922) 同时建模未来视频与连续机器人动作；字幕将其误识别为“Dreamer”。Fan 把这类模型称为世界动作模型，并展示了训练集中未见任务的演示。

他说，在这些例子中，预测质量与动作成功密切相关：虚构的未来场景可能伴随动作失败。他明确承认，系统并不能可靠完成每一项提示任务。

数据策略从遥操作开始：由人控制机器人来收集演示。Fan 认为，硬件可用性、操作员投入和停机时间限制了单台机器人能收集的数据量。

通用操作接口将部分数据收集从机器人身上移开：人直接操作带传感器的夹爪。Fan 介绍了相关可穿戴设备，目的是减少占用机器人时间，同时采集有用的人类演示。

他的团队开发的 Dex-UMI 使用可穿戴机构映射五指机器人手。Fan 展示了在该例子中仅用可穿戴设备数据、未用遥操作数据训练的策略；结果限于所测试的设置。

即使使用可穿戴设备，仍需要专门投入采集工作。Fan 希望数据收集更少打扰日常活动，并将其类比为普通驾驶过程中收集的车辆数据。他提出的规模与可行性仍有待未来验证。

[EgoScale](https://research.nvidia.com/labs/gear/egoscale/) 使用大量带动作标注的人类第一视角视频来研究灵巧操作。Fan 报告称，团队用约 2.1 万小时人类数据预训练，再用少得多的高精度数据和机器人数据进行动作微调。

例子包括整理卡片、操作注射器，以及根据一次演示适应叠衬衫任务。这些是研究演示，并不证明通用机器人护士或家庭助手已可部署。

EgoScale 工作报告，在其实验范围内，训练数据规模与验证损失之间存在对数线性关系。Fan 将其称为灵巧操作的扩展规律；将其外推到评估范围之外的数据和任务仍不确定。

Fan 预测，遥操作在数据组合中的占比将变小，可穿戴传感器与第一视角视频将发挥更大作用。这是他的预测，不是演示已经证明的结果。

他也希望扩大强化学习使用的环境规模。他的团队报告在某些真实机器人任务中取得很高的成功率，但大规模复制物理环境代价昂贵。

一种方法是扫描真实场景，在物理模拟器中重建可交互对象，并生成称为 digital cousins 的变体。策略随后可以在模拟中训练，再回到现实世界评估。

[DreamDojo](https://arxiv.org/abs/2602.06949) 采用不同方法：学习得到的世界模型根据动作预测未来视频和传感器状态。Fan 建议将这类神经模拟器与真实机器人及基于图形的模拟结合使用。

他把设想中的训练循环概括为用计算生成环境与数据。这是一项研究愿景：模拟结果仍需与物理行为核验，尤其是在接触丰富或安全关键的任务中。

Fan 将“物理图灵测试”、可配置机器人群和自动化工厂列为未来里程碑。他推测第一个目标可能在两三年内实现；演讲没有确立评测标准，也没有证明这一时间表。

他的最终设想是机器人帮助设计并制造下一代机器人。他对 2040 年前达到这一广泛目标表达高度信心，但这个数字是他的主观预测，而非经过统计验证的概率。