o3-mini 的早期表现与 AI 竞赛言辞

OpenAI 刚刚发布 o3-mini。我想看看它公布的能力，也想讨论围绕 AI 竞争日益急迫的言辞。这里记录的是 2025 年 1 月的情况：模型使用方式、价格和评测结果都可能变化。

我阅读了系统卡和发布说明，并初步将它与 DeepSeek R1 比较。发布时，免费 ChatGPT 用户可以选择推理选项，而 o3-mini 不接受图像输入。

讲解者最初认为 R1 整体上显得更聪明，API 也可能更便宜，但比较取决于供应商、用量和输入输出 token 的比例。他引用的是发布时价格，并非当前购买建议。

在竞赛数学方面，公布的高推理强度设置表现出色。FrontierMath 尤其引人注目：发布表格显示，o3-mini 高强度设置的首次尝试得分为 9.2%；表下方还特别列出了使用 Python 工具的结果。

OpenAI 还报告，在提示模型使用 Python 时，同一高强度模型首次尝试解出超过 32% 的 FrontierMath 题目，其中较难的第三层题目超过 28%。工具权限改变了评测设置，因此这些数字不能直接与无工具得分比较。

讲解者引用题目示例说明评测的难度，也指出模型在科学和编程测试中表现出色。不过，在这些领域看起来很强的模型，仍可能犯令人意外的基础推理错误。

他的例子问：一个人会不会因为儿时的争执，而不帮助需要心肺复苏的好友。在他的测试中，o3-mini 给出了悲观答案；他说其他模型给出了预期答案。这是测试回答的例子，不是医疗建议。

在 Simple Bench 的十道公开题中，他报告 o3-mini 答对一题，R1 答对四题，Claude 3.5 Sonnet 答对五题。这些是规模很小的早期测试；录制时 o3-mini 的完整评测尚未运行。

他也质疑发布说明中选择的比较对象。相对于 OpenAI 早期模型的优势，本身不能告诉我们它与竞争模型相比在性能、延迟或用户偏好上的表现。

系统卡提供了另一种视角：OpenAI 将采取缓解措施之前的模型总体评为中等风险，并指出模型自主性风险为中等。系统卡依据缓解后的风险等级描述部署和进一步开发的门槛。

讲解者预测，竞争压力可能促使公司削弱这些承诺。这是他的预测，并非系统卡证实的结论。他认为，竞争对手发布更强系统的可能性尤其会带来压力。

他将这些激励与 Anthropic 首席执行官 Dario Amodei 的主张作对照：后者支持限制中国获得先进芯片，并维持美国及其他民主国家的领先地位。讲解者担心这种竞争会推动能力研发加速。

训练成本估计展示了拟议投资的规模，但这些数字的范围和定义各不相同，也没有包含其他费用。不能把它们当作构建或运行这些系统的完整、可直接比较的成本。

系统卡还报告，采取缓解措施前的模型在一项生物安全相关评测中表现有所提高。讲解者将此视为安全隐患；系统卡将其与采取缓解措施后的模型区分开来，后者拒绝了这些评测任务。

另一项评测使用来自 OpenAI 工程 pull request 的任务，并通过测试检查 agent 的修改。系统卡报告，在这一设置下 o3-mini 得分为 0%，o1 为 12%；它推测指令遵循和工具格式混淆可能影响了 o3-mini 的表现。

这一结果反映的是特定评测，不能直接衡量模型能自动完成工程师多少工作。视频更广泛的观点是：模型的强项会随任务和评测设置显著变化。

讲解者随后谈到 AI“战争”的言辞。他不喜欢把影响重大的技术描述成军备竞赛，认为这种语言会加剧竞争，让人忽视共同风险。

最后，他播放了 Amodei 早年警告技术竞赛的片段：激烈竞争可能造成双方都不愿看到的安全灾难。对讲解者来说，未来的不确定性意味着应该更加谨慎，而不是喊出更加自信的口号。