Fan-Yun Sun 谈构建可控的世界模拟

Stanford AI Club 邀请 Moonlake AI 联合创始人兼首席执行官 Fan-Yun Sun 讨论世界模型和生成式模拟。演讲结合了技术框架、产品演示和创始人对未来应用的愿景。

Sun 介绍生成环境并在其中训练具身智能体的研究。预期目标是构建最终能在模拟环境之外发挥作用的策略。

他用赛车解释多模态推理：观察可以包括视觉运动、声音和预期后果。有用的模拟必须表示与所研究决策相关的方面。

Sun 将“世界模型”广义用于帮助预测或决策的数据驱动模拟。他指出，虽然如今的术语较新，建模与模拟已有很长历史。

游戏展示了如何通过对象、规则和行为构建交互环境。他的愿景是使用现代模型，让更多类型的环境更容易创建。

Sun 讨论 Will Wright 的模拟游戏：设计者创建规则，玩家产生多样结果。这个例子区分了世界规则与其中产生的具体故事。

传统游戏制作涉及指定几何、物理、交互和脚本行为。每种选择都决定环境能表示什么，以及用户可以在其中做什么。

他把它与莱特兄弟的风洞作比较：小型物理模型隔离出选定的空气动力学属性，便于测试设计。模型有用，是因为它捕捉相关特征，而不是因为它复制现实的每个方面。

Sun 提出评估模拟的框架：定义状态、定义可用动作，并指定系统如何在状态之间转移。应用场景决定必须表示哪些细节。

他以 [Genie 3](https://deepmind.google/blog/genie-3-a-new-frontier-for-world-models/) 为例，介绍生成交互视觉环境的模型。DeepMind 自己的说明指出了动作空间、持续时间和准确表示现实世界方面的限制。

药物反应例子体现了另一种状态和动作选择：模型可以表示患者状况和治疗变化。这类模拟需要严格验证，不能替代临床证据。

Sun 说 Moonlake 对难以或危险到不适合真实重现的场景感兴趣，例如罕见驾驶事件。模拟可以帮助探索，但价值取决于它对真实情境的表示程度。

公司提出的生成式模拟引擎强调可控性：用户应能修改生成环境的布局和属性，而不是只能接受固定视频。

Sun 描述第一层：模型构建场景，并在模拟引擎中指定几何、对象和物理。他将这个过程类比为开发者选择组件并赋予行为。

第二个学习得到的渲染层将引擎输出转换为更逼真的视觉外观。在这个设计中，明确的模拟状态与生成的视觉层承担不同职责。

演示包括生成的游戏与交互场景。这些例子展示了公司正在构建的系统，但并不能独立证明它在任意任务中都具有物理准确性。

Sun 将明确的场景骨架与反复预测下一视频帧作比较。在自回归视频模型中，错误可能进入后续预测，并在长时间交互中累积。

在 Moonlake 的方法中，代码和模拟引擎维护几何与状态等方面，学习得到的渲染器提供外观。这可能减少某些漂移，但准确性仍取决于引擎和生成的设置。

明确状态还可以提供用于训练或评估的合成标签。模拟器产生的标签描述的是该模拟器；假定其忠实适用于物理世界之前必须核验。

Sun 设想一个迭代循环：智能体在生成任务中训练、获得反馈，再遇到更难任务。这种课程是否能产生稳健的现实技能是研究问题，而非演讲已证明的结果。

回答提问时，他说演示系统使用了增加工具支持的修改版游戏引擎。他指出，底层物理实现可以针对不同领域更换，但仍受引擎限制。

他的长期愿景是按需生成用于决策、教育、自动驾驶等应用的模拟。这些是未来设想，每种用途都需要证据证明模拟行为适合对应领域。

尤其对于社会或教育场景，看似可信的模拟人物并不能可靠证明真实个人会如何行动。此类输出用于影响重大选择前需要谨慎验证。

Sun 将效率列为主要技术挑战。需要衡量模拟成本与其支持决策的价值和频率，尤其是长时间运行需要大量计算时。

被问及明确引擎与学习渲染器是否会一直分离时，他说架构可能演变。他目前的论点是，结构化状态为可控、高效模拟提供了一条实际路径。