OpenAI 发布 o3：基准测试进展与 AGI 之问

OpenAI 宣布了 o3，我认为这些结果证明我们已经实现 AGI。我评述的是 OpenAI 2024 年 12 月的发布演示和 ARC Prize 的评测。这是我的解读：包括 ARC-AGI 在内的特定测试取得高分，本身并不能证明系统在具有经济价值的工作中具备通用智能。

Sam Altman 将 o3 介绍为 o1 之后的下一代前沿模型，并开玩笑说为尊重一家电信公司而跳过了 o2 这个名字。他宣布了 o3 和更小的 o3-mini，后者旨在更好地平衡性能与成本。

发布时两款模型都尚未公开提供；OpenAI 表示正在开放安全测试申请。演示者介绍了使用测试时计算进行推理的方式：回答难题时允许投入更多计算。下文数据反映发布时的测试和设置，并不保证适用于每一种用途。

Mark Chen 首先介绍编程成绩。OpenAI 报告 o3 在 SWE-bench Verified 上达到 71.7%，该基准包含源自真实问题的软件工程任务；图中 o1 为 48.9%。在 Codeforces 编程竞赛评测中，OpenAI 报告 o3 在高计算量设置下的估算 Elo 为 2,727，o1 为 1,891。

我将报告的编程评分与竞赛程序员 Mark 的经历作比较，认为这在一个维度上体现了 AGI。比较令人印象深刻，但竞赛评分衡量的是编程比赛表现，不能证明系统在大多数有经济价值的工作中都能超越人类。我关于 Microsoft 访问权和 AGI 条款的说法，是对合同安排的解读，并非这些结果已经造成的后果。

OpenAI 图表报告，o3 在 AIME 2024 数学竞赛题中得到 96.7%，o1 为 83.3%；在 GPQA Diamond 科学问题中得到 87.7%，o1 为 78%。这些是公司报告的特定题集和配置下的结果，并非对数学家或科学家全部工作的直接衡量。

我把数学和科学成绩与智能爆炸的设想联系起来：AI 系统或许可以进行研究、发现改进方法并将其用于自身。这是一种推测。这些基准结果并不能证明独立发现、可靠的自动化研究或无限递归改进已经实现。

演示者指出，多项基准正在接近饱和，因此更难的测试有助于区分进一步的进展。他们介绍了 Epoch AI 的 FrontierMath，这是一组高难度、未公开发表的数学问题，并报告 o3 在高测试时计算设置下得分 25.2%；图表中此前成绩约为 2%。

ARC Prize Foundation 主席 Greg Kamradt 加入演示，解释 François Chollet 开发的 ARC-AGI。每道视觉谜题都提供输入输出示例，解题者必须推断变换规则并应用于新输入。一道示例题要求补全彩色形状；另一道则要求根据彩色方格推导边框。

我重视这项基准，因为许多题目对人来说可能简单，对模型却很困难，而且模型必须从例子中推断规则。Kamradt 表示，各道题需要不同技能，旨在测试适应能力而非简单重复。这衡量的是一种特定形式的抽象与泛化能力，而非 AGI 涉及的所有能力。

Kamradt 报告，o3 预览版在 ARC-AGI-1 半私有评测中，较低计算量设置得到 75.7%，较高计算量设置得到 87.5%。他将后者与演示采用的约 85% 人类表现门槛比较。人类基线取决于参与者、题目和测试条件，因此这一比较并非对人类能力的普遍衡量。

我将 ARC、数学和科学成绩共同视为 AGI 的证据。证据支持的是更有限的结论：受测系统在特定条件下的这些基准中表现出色。ARC Prize 报告，高计算量运行使用的计算量约为较低设置的 172 倍，这是理解结果的重要条件。

OpenAI 表示没有针对该基准开展专门工作，我由此推断它没有用 ARC 训练。ARC Prize 自己的报告提供了重要更正：OpenAI 告诉该机构，受测系统使用 ARC-AGI-1 公开训练集的 75% 进行了训练。这与半私有评测集不同，但报告的测试没有单独测出这部分训练的贡献。

Kamradt 表示，衡量进展的工作尚未结束，并讨论了开发更多基准。我提到 ARC Prize 竞赛，并猜测谁可能获胜。后来 ARC Prize 报告，2025 年 4 月商业发布的 o3 与最初的预览系统并不相同。

OpenAI 研究员 Hongyu Ren 将 o3-mini 介绍为一个更小的推理模型，旨在改善成本与性能之间的权衡。公布的 API 选项包括低、中、高三种推理强度，让用户在简单请求上减少计算，在难题上投入更多计算。

展示的 Codeforces 图表显示，o3-mini 随推理强度增加而进步，在该项评测中，中等强度超过了 o1。配套的估算成本与评分图表表明，它比 o1 处在更高效的性能边界。图表描述的是 OpenAI 的测试设置；实际性能和费用取决于具体工作负载。

在现场演示中，团队要求 o3-mini 编写一个 Python 代码生成和执行程序。生成的程序启动带文本框的本地服务器，向模型 API 发送请求，保存返回的代码并运行。团队首先尝试了一个打印随机数的小任务。

随后，演示者让生成的界面编写代码，用 GPQA 评测低推理强度的 o3-mini。脚本需要下载数据、识别问题和答案选项、查询模型并为输出评分。现场运行结果约为 61.6%，接近演示者此前单独测得的 62%。

我觉得模型帮助创建评测模型的工具很有意思，同时也提到人们担心模型操纵评测或隐瞒行为。这个演示是受限的编程与评测工作流，并不能证明模型独立重新设计或改进了自己。

OpenAI 还展示了 o3-mini 在不同推理强度下的 AIME 2024 成绩，以及在匿名化 o1-preview 流量上的延迟比较。演示称，在该比较中，低强度比 o1-mini 快得多，中等强度的延迟约为 o1 的一半；这些数据与该工作负载有关。

针对开发者，演示者强调了函数调用、结构化输出和开发者消息。他们的内部评测显示出较强表现，但不同功能和推理强度的分数有所差异。这些 API 有助于构建编程工具和智能体，但图表不能保证工具调用总是正确。

OpenAI 表示正在对模型进行后训练、加入安全干预并开展内部测试。它邀请安全与安保研究人员申请 o3-mini 及之后的 o3 外部测试，申请截止日期为 2025 年 1 月 10 日。我期待亲自测试这些模型，并计划进一步研究这次发布。