Pim de Witte：用电子游戏训练视觉行动模型

设想用现有信息训练模型，再将结果应用于训练数据中没有直接出现的问题。General Intuition 正用电子游戏的交互视觉数据探索类似思路，但能否泛化到特定机器人，仍是需要实验验证的问题。

我用《冰雪奇缘》中的一个场景说明行动过程中持续观察的重要性。与纯粹的轮流交互不同，具身系统需要在移动时应对不断变化的世界。

我认为，专门构建的行动模型可能比把文本语言模型当作完整控制循环更适合这一场景。这是我们的架构判断，本场演讲没有给出受控比较。

我们的起点是游戏录制平台 Medal，用户在许多游戏中录制自己的操作。我们将画面与手柄或键鼠动作关联，并标注动作含义，构成视觉模型的训练样本。

这一思路的直觉是，人既可以用游戏手柄玩游戏，也可以用它遥操作某些机器人。这可能提供一种共同接口，但熟悉的控制器并不会消除模拟环境与物理环境的差异。

模型接收画面和一组可用控制，还可以接收文本指令。一个简单例子是，将“向对方挥手回应”映射为可用的问候动作；输出是动作，而不是一段文字。

我将其与文本生成对比：文本模型通常生成一次回复后等待下一轮。我们的设计反复接收视觉观察并预测控制器动作，目标是在场景持续变化时运行。

我们的判断是，许多问题可以表达为“输入像素、输出动作”。输出空间可以包含键盘、鼠标或手柄动作，把计算机操作模型的思路扩展到更多控制方式。

机器人已有一些控制接口，能将人的指令转成底层电机行为。我们的方法希望在这些接口可用时直接利用它们，而不是直接预测每一个电机扭矩。

我称 Medal 目前每年约有十亿条视频上传，并有望达到三十亿条，每月产生超过 1.5 万亿个动作 token。这些是公司报告的规模数字；演讲并未独立证明有多少数据适用于每一种机器人任务。

训练上的押注是，跨游戏的规模化数据能够帮助单一模型处理范围更广的视觉行动问题。我把它比作先专注一种模态，再期待用户把更多问题带入该模态。

我们也研究生成更多训练环境的世界模型。我认为，在视觉空间学习可能减少构建数字孪生以及检查模拟任务与现实是否一致时的一些转换环节。

游戏可能包含密集的连续动作。我认为，这或许有助于无人机控制等需要大量微调的任务；高动作密度也能提供与较慢遥操作不同的训练信号。

动作标签旨在保留被按下的按键及其语义。我认为这有助于解释，但标签本身并不能保证模型内部推理透明。

我说公司计划在今年晚些时候发布模型，并正向部分对象展示现场演示。我称一个模型可以用相同基础操作高水平玩游戏并控制十多类机器人；演讲没有为这一说法提供独立基准。

拟议部署仍使用编排模型进行较长期规划，再把视觉行动模型接入工作流以进行实时交互。我提出探索用户界面等潜在用途，但并不是说每个用途都已经得到验证。

一个无障碍设想是，让用户控制鼠标，由模型补充键盘动作，从而可能帮助只能使用一只手的人玩游戏。这是应用设想，而不是经过验证的临床或无障碍结果。

我介绍了三个团队，分别负责世界模型、策略或智能体，以及数据和环境生成。我还谈到计划中的早期访问和活动；这些日期只是演讲时的计划。

被问到与 JEPA 的区别时，我说我们的训练使用动作标签，而我理解 JEPA 更依赖推断动作。我认为两种路径各有权衡，并预计双方会相互借鉴。

例如，仅凭视频画面可能看不出飞行员正在移动方向舵控制。我认为，直接观察到的动作有助于训练动作序列；团队同时也使用不同方法进行世界模型研究。