OpenAI 编程竞赛研究：o1-ioi、o3 与结果的边界

OpenAI 关于编程竞赛的论文研究强化学习和测试时计算如何影响编程表现。我将其解读为通向 AGI 及更高智能的路径。这是我的预测：研究展示了选定编程评估上的进步，并未证明 AGI 或无限扩展规律。

我引用 Sam Altman 关于 o3 编程竞赛估计排名和未来达到第一名目标的发言。这些是他的说法和预期，并非独立确立的当前世界排名。论文自己的 Codeforces 比较基于模拟竞赛和估算评分。

我将这项研究与 DeepSeek-R1 等推理模型工作联系起来，强调使用可验证奖励的强化学习。我也提醒，广泛讨论的训练成本数字不一定可以直接比较。视频包含 Langtrace 赞助片段；赞助商宣传的功能和价格属于推广说法。

当输出能按照已知标准进行测试时，可验证奖励很有用。游戏中的输赢可以衡量；编程中的测试用例可以检查程序行为。这是简化的解释：人仍需设计问题、规则、测试、训练系统和目标，而通过有限测试的程序在其他情况下仍可能出错。

我用 AlphaGo 类比自博弈。有一个重要更正：原版 AlphaGo 最初使用人类棋谱训练，之后也使用自博弈。DeepMind 表示，后来的 AlphaGo Zero 不使用这些人类棋谱，通过自博弈学习。研究人员仍然设计了游戏设置、算法和训练基础设施。

反复自博弈可以在特定游戏和奖励结构下产生强策略，但不能保证在每种情况下找到最优策略，也不能保证无限扩展。编程测试同样只能验证覆盖到的情况和性质，许多科学问题也没有简单的自动真值奖励。

回到论文，OpenAI 比较了 o1、为编程进一步训练并配备专门推理流程的 o1-ioi，以及早期 o3 检查点。比较旨在研究人工设计的竞赛策略与经过更多强化学习训练的通用模型相比表现如何。

我介绍早期 AlphaCode 系统生成大量候选解答并使用选择启发式方法。论文报告每题最多生成一百万个候选解答，之后选择十个提交。“Alpha”这个名称本身不能确立特定训练方法，这些系统也不应被视为与 AlphaGo 相同。

论文描述 o1 使用较长推理，以及在安全环境中编写和运行代码的工具。运行示例可以发现错误并帮助完善解答，但通过测试不证明对所有输入都正确。

我将论文结果与 Tesla 转向神经网络驾驶系统作比较，并认为移除人工编写的规则可以消除瓶颈。这是一种类比和解读；编程论文没有验证关于 Tesla 训练的说法，也没有证明人类参与不再必要。

OpenAI 使用模拟竞赛评估 Codeforces 类型题目。在其方案下，GPT-4o 的估算评分为 808，o1-preview 为 1,258，o1 为 1,673。这些是模型估算值，不是通过类似人类的现场参赛获得的官方评分。

作者报告，增加强化学习训练计算量和测试时计算量后，表现有所改善。这些观察针对受测模型和任务。额外计算有成本，报告的趋势不能证明所有领域的性能都会无限提高。

对于 o1-ioi，团队将问题分成子任务，每个子任务采样 10,000 个候选解答。他们根据生成测试中的输出对候选解答聚类，再利用学习得到的评分函数、错误和公开测试用例重新排序。流程随后在竞赛限制内选择提交。

在模拟 Codeforces 测试中，论文报告 o1-ioi 估算评分为 1,807；加入公开测试过滤后为 2,092；使用完整策略后为 2,214，在其比较中对应第 98 百分位。这些是不同配置，选择方法会影响结果。

论文报告一个早期 o3 检查点的估算 Codeforces 评分为 2,724，在与活跃参赛者的比较中处于第 99.8 百分位。这不是与每个程序员直接比赛。作者指出，最优秀的人类仍解决了更多受测题目。

o3 的方法比 o1-ioi 针对竞赛的聚类流程简单，但并非没有人的设计：研究人员选择了提示、采样、排序和评估方法。在 IOI 测试中，他们从每题 1,024 个样本中选择计算量最高的 50 个候选解答。IOI 和 Codeforces 评估使用了不同的早期 o3 检查点。

论文报告，o1-ioi 在 2024 年真实 IOI 中、每题最多提交 50 次的限制下获得 213 分，处于第 49 百分位。只有将限制放宽到每题 10,000 次提交后，它才以 362.14 分超过金牌线。Berman 暗示 213 分超过金牌线，这不正确。

较晚的 o3 检查点在相同六道 IOI 题目上接受赛后评估，在每题最多提交 50 次的限制下得到 395.64 分，超过约 360 分的金牌线。这不是在现场授予 o3 的奖牌。论文表示较晚的检查点使用了额外训练数据，并报告了污染检查。

我的结论是，扩大强化学习和测试时计算可能产生最强程序员，最终通向 AGI 或超级智能。竞赛结果很有意义，但范围更窄：它们不能确立这一发展轨迹，也不能证明模型在每种编程情境中世界第一，更不能消除开发和评估系统所需的人类工作。