机器人使用智能体：通用模型能控制不同机器人吗？

主持人介绍“机器人使用智能体”的概念：通用模型通过工具控制不同机器人。他们邀请 Waddle Labs 和 RoboCurve 的创始人讨论，两家公司的演示推动了相关讨论。

Waddle Labs 表示，其工作包括构建让语言模型控制机器人的运行框架、收集数据并用数据改进模型。RoboCurve 则评估不同模型、机器人和环境中的物理 AI。

嘉宾展示过拧开瓶盖和多机器人协作等任务。主持人从视觉语言动作模型、代码作为策略等研究出发，梳理这些演示的背景。

Jay 将 RT-2 描述为视觉语言动作方法：它让预训练模型输出机器人动作，例如可转换为关节指令的末端执行器位姿。预训练使模型能够利用从网页文字和图像中学到的知识。

一位参与者将直接输出动作与先推理或写代码再行动进行比较。后者可以把工作交给程序，并可能重复使用程序，而不必每次重新生成动作。

嘉宾提到“苦涩的教训”：受益于数据和计算规模的通用方法可能胜过手工设计的方法。他们认为关键可能在于哪些训练数据能迁移到机器人任务，而不只是模型架构。

他们指出，模型的编程、工具使用和上下文学习能力都有进步。通用模型可以检查环境中的可用工具并编写策略；专门的机器人方法则可能更直接地依赖稀缺的机器人数据。

讨论回顾了 Minecraft 中的 Voyager：智能体探索时可以创建可重复使用的代码工具。参与者认为，游戏中的工具创建与编写机器人控制程序存在联系。

早期代码即策略研究向模型提供抓取、抬起、移动到指定位置等函数。语言模型利用已有编程知识把这些函数组合成完成较大任务的代码，不必为每个请求重新收集机器人数据。

嘉宾比较了上下文学习与更新模型权重。一位参与者描述尚未发表的实验：示例起初帮助模型完成留出的任务，但收益有波动，最终趋于饱和；这只是该实验中的观察，并非普遍规律。

检索可以按需把相关例子带入当前上下文。讨论还涉及低秩适配和完整微调等吸收经验的方法，它们对数据与算力的要求各不相同。

机器人进入新场景时，运行框架可以把学到的操作流程封装为可复用的程序或技能。嘉宾把这种整理比作提炼经验，让后续智能体不必重新摸索每一步。

他们还设想由较大模型为特定领域配置运行框架，再由更小、更快的模型执行具体任务。单靠上下文学习究竟能走多远，嘉宾认为仍是开放问题。

演示中，模型利用摄像头画面和工具调用把积木放入碗中。嘉宾澄清，这个例子分多轮发送位姿指令，更接近工具调用，而不是编写完整的代码策略。

运行框架也可以把重复步骤编译成代码，或调用之前学到的技能。这样不必每次动作都等待大模型，把变化和失败处理留给模型。

演示明显较慢，因为机器人需要等待模型响应。参与者预计延迟会改善，但他们给出的具体时间预测并不能证明实时机器人控制已经实现。

对于重复操作任务，一旦流程明确，许多步骤可能是确定性的。物体变化、错误检测或恢复需要不同反应时，可以在这些节点调用视觉语言模型。

参与者讨论程序归纳：系统不只是学习直接的输入输出映射，也可以从示例中推断紧凑的函数。他们指出，找到合适的归纳偏置仍然困难。

主持人提到“柏拉图式表征假说”：在不同数据上训练的模型可能学到越来越相似的表征。嘉宾将其视为语言、视觉和机器人之间可能发生迁移的一种解释，而不是已被保证的结论。

嘉宾推测较新的模型为何似乎更擅长空间任务，包括可能使用了计算机操作或 CAD 数据。他们并不知道模型的非公开训练数据构成，因此这些解释只是猜测。

例如，在屏幕上操作三维物体可能呈现旋转和视角等关系。嘉宾还提到人类第一人称视频，以及把机器人控制设计得类似常见计算机操作工具的界面。

谈到未来，一位嘉宾预测约两年内会出现能力广泛的机器人。这是业内参与者的预测，而不是已经证实的时间表；讨论随后回到延迟与成本等尚未解决的问题。

Waddle 希望把通用模型缓慢完成的首次操作转化为可高速重复执行的技能或策略。参与者将收集经验、整理经验和更新模型比作一个学习循环。

他们把这一思路与 DreamCoder 的技能库及整理阶段相比较。随着机器人技能和部署数据不断增加，如何组织、压缩和筛选它们仍是开放问题。