ARC-AGI-3：测试 AI 智能体如何学习陌生游戏规则

ARC-AGI-3 是一项交互式基准，旨在测试 AI 智能体如何适应陌生问题。组织者在 2026 年 3 月报告称，人类能够解决所测试的环境，而早期前沿系统在其评估设置下得分低于 1%。这反映出该基准上的显著差距，但不能证明每个人都能成功，也不是对通用智能的完整测量。

ARC 系列旨在衡量一种特定的泛化能力：从少量信息中学习新规则，并将其应用到新情境。我认为这与主要要求回答熟悉问题的测试不同。其他具有挑战性的基准也仍未饱和；ARC 并非唯一的此类测试。

在一个 ARC-AGI-1 示例中，测试者看到几组输入输出网格。示例显示，每组三个粉色格子在黄色格子填补空缺后，变成完整的二乘二方块。将推断出的规则应用于新输入，就得到所提出的解答。

ARC-AGI-2 保留网格形式，但呈现更难的符号关系。在我查看的例子中，一个彩色图例似乎编码了每种形状中封闭空缺的数量。我通过示例推理，并用这一解释预测缺失的输出。

我查看了一份以每项任务成本为横轴、分数为纵轴的排行榜。在展示的 2026 年 3 月快照中，较强系统在 ARC-AGI-1 上得分较高，在更难的第二代基准上得分较低；成本也因配置而异。这些数字会随时间变化，并取决于评估集和系统，不能当成当前排名。

成本很重要，因为基准关注的是高效获取技能，而不只是通过无限计算获得答案。组织者使用人类参与者来校准任务，但称每项任务或环境可由人类解决，不等于每个人都能解决每项任务，更不等于毫不费力。

ARC-AGI-3 从静态示例转向交互式回合制环境。玩家或智能体可以获得观察结果和可用行动，但没有明确说明目标或机制。挑战在于探索、推断重要因素，并利用反馈在行动限制内规划。

我开始一个游戏，在移动之前先观察画面。我看到黄色条、加号、一个彩色物体和可能表示目标的符号。我还不知道自己控制哪个物体，也不知道黄色条代表生命值还是行动预算，因此先尝试一个动作。

按向上键后，彩色物体移动，黄色条缩短，说明它可能记录剩余行动次数。直接前往上方区域没有完成关卡。我注意到两个符号的方向不同，于是形成新假设：也许触碰加号能改变方向。

我重置游戏，向加号移动，看到目标符号发生变化。方向匹配后，我继续前往目的地，完成了画面展示的开场关卡。这个演示说明了在一个关卡中探索和推断的过程；画面显示游戏还有其他关卡。

我将这次体验与展示的回放结果比较。所选游戏的表格显示人类基线为 100%，几个模型运行结果为 0%；随后我观看一个 GPT-5.4 运行记录，它反复移动，却没有找到演示中的路线。这些是特定运行框架下的个别结果，不能证明这些模型永远无法解决任何相关问题。

我展示的历史总体排行榜上，领先结果约为 0.3%，报告的成本相当高。ARC-AGI-3 的评分反映相对人类基线的关卡进度和行动效率，而不只是完成游戏的比例。我提到奖金并邀请观众尝试不同游戏；一个关卡或单一基准都无法解决更广泛的 AGI 问题。