测试 OpenAI o1 的规划、规则遵循与空间推理能力

OpenAI 的 o1-preview 和 o1-mini 规划能力到底如何？与只在训练阶段扩大模型规模不同，o1 在推理时使用额外计算。我回顾一篇 2024 年的研究论文，它将这些模型与 GPT-4 比较，通过任务揭示规划和空间推理方面的局限。

我先介绍 ARC Prize 对获取新技能和仅展示已学技能的区分。论文使用的是六类规划任务，并非 ARC 本身。这些任务以基于规则的问题呈现，研究结果不应直接视为对通用智能或实体机器人表现的衡量。

研究者围绕可行性、最优性和泛化能力组织评估。他们发现，o1-preview 在某些结构化案例中比 GPT-4 有所进步，但在决策和状态管理方面仍有困难，尤其是在复杂空间任务中。作者指出数据集相对较小，需要开展更广泛的测试。

这些问题对具身智能体很重要：机器人需要推理动作如何改变物理世界。Yann LeCun 曾认为，仅靠语言可能不足以实现强大的空间推理。我也提到 World Labs 和 Fei-Fei Li 在三维信息方面的工作，作为另一种思路，同时指出更广泛的问题仍未解决。

o1 模型可以使用更多推理时计算来推敲答案。论文的总体图表显示，o1-preview 通常比 GPT-4 表现更好，但它的不足也很重要。这些结果适用于 2024 年受测的模型和任务，未必适用于后来的系统。

可行性考察规划是否遵守规则并真正达到目标。如果某个动作不满足前置条件，整个规划就无效。论文区分了不遵守规则（IR）、未能形成完整可行规划（IP）和误解目标状态（MG）三类失败。

最优性是另一个问题：规划可能达到目标，却浪费步骤、时间或资源。从 A 出发，绕经几个不必要的地点后才抵达 B，就是一个例子。作者将可行但低效的方案称为缺乏最优性错误，即 LO。

泛化能力考察模型能否将规划适应到变化后的设置。一项实验用任意符号替换动作和对象的有意义名称，同时保留规则。我认为在陌生形式中应用技能的能力很重要，但这项测试只探查了较窄的一类泛化。

第一个领域 Barman 要求一个双手机器人使用饮料机、杯子和摇壶调制饮品。每个动作都有前置条件：例如，一只手可能必须空闲，而且容器内的内容和操作顺序也很重要。模型经常生成看似合理、实则违反规则的步骤。

在图示案例中，GPT-4 试图在双手都被占用时给杯子装液体。o1-mini 则试图向一个已经有东西的烈酒杯中倒酒。论文称，模型难以生成可行的 Barman 规划，大多数错误归因于违反规则。

Blocksworld 要求一只一次只能拿一个方块的机械臂重新排列方块堆，达到指定目标。在论文展示的失败案例中，o1-mini 试图堆放一个方块，但另一个方块仍挡住了这一动作。Berman 将其称为 o1-preview 的例子，论文中的标签则是 o1-mini。

论文报告，在评估案例中 GPT-4、o1-mini 和 o1-preview 的 Blocksworld 成功率分别为 40%、60% 和 100%。成功的规划不一定最优：一个 o1-preview 案例包含了不必要的动作。这些百分比描述的是规模较小的研究，并不能保证模型适用于所有方块排列。

在 Grippers 中，机器人使用数量有限的夹爪在房间之间搬运球。一个例子的初始排列已经满足目标，但 o1-preview 误读了状态，还是移动了球。在另一个例子中，GPT-4 进行了不必要的机器人移动，而 o1-mini 生成了高效规划。

Floortile 要求机器人在遵守移动和绘制约束的同时为网格上色：只能给未上色的格子涂色，也不能移动到已上色的格子上。三个模型在测试案例中全部失败。论文报告，GPT-4 和 o1-mini 的失败中有 90% 涉及规则遵循错误，o1-preview 的比例为 30%；后者也存在未能完成规划的问题。

Termes 增加了第三个维度：机器人需要在高度和位置约束下移动、放置方块，建造一个结构。三个模型在测试问题中全部失败。错误包括忽视高度限制，以及在规则要求相邻位置放置方块时，把方块放在机器人自己所在的位置。

Tyreworld 描述了按照要求的顺序使用工具更换漏气轮胎。o1-preview 为论文中的所有普通测试案例生成了有效规划，而 GPT-4 和 o1-mini 在最简单案例之外表现困难。这个领域是符号规划基准，并非更换真实轮胎的演示。

当动作和工具名称替换成随机符号后，底层规则不变，但 o1-preview 的表现下降。我在视频中说成功率从 100% 降到 80%；论文和画面上的文字报告的实际结果是从 100% 降到 20%，即下降 80 个百分点。

作者认为，较差的表现与空间和规则的复杂度有关，尤其是在 Floortile 和 Termes 中。他们说，在观察结果中动作空间大小似乎不是主要因素。这并不能证明网格大小在一般情况下无关紧要，因为实验范围有限。

与 GPT-4 相比，o1-preview 在某些结构化任务中更常遵守约束并跟踪状态。研究者认为自我评估可能有所帮助，但这些输出并不能确定其内部机制。当空间关系和状态转换变得更加复杂时，这种优势会减弱。

可行规划仍可能包含冗余步骤。论文建议研究基于成本的决策框架，以改进最优性。研究也看到模型对结构化问题具有一定适应能力的迹象，同时发现它在抽象和更复杂的设置中仍然面临显著困难。

研究总结称，模型在某些任务中更好地理解了要求、遵守了约束并管理了状态。但在更高维和抽象的问题上，表现仍然较弱。我认为泛化能力是一个重要的开放挑战。

论文提出了若干研究方向：更好的资源感知决策、改进记忆、自我评估、多模态输入、多智能体框架和人类反馈。我尤其看好多个智能体协作。这些是建议探索的改进方向，并非已证明能够解决基准测试失败问题的结果。

我的结论是，o1 模型在某些规划任务中取得了进步，但仍存在重大局限。我用泛化能力思考通往通用智能的进展，而这项研究本身仍然是一项范围较窄的初步评估。