30 秒看懂
Matthew Berman 研究 OpenAI 于 2024 年 9 月发布 o1 时的安全声明和精选推理演示。他测试了一段最初失败、修复后运行的 Tetris 程序，以及一个自指的词数统计问题。基准数字由 OpenAI 报告，o1-preview 与后续模型的成绩不同。
- 1数学基准条件OpenAI 报告称，后续 o1 使用 64 个样本投票取得 83.3%，o1-preview 在相同指标下取得 56.7%。
- 2安全评估OpenAI 报告称 o1-preview 在一项特定越狱测试中的表现更好。
- 3未经证实的集成视频推测 Devin 可能使用 o1，但所展示的片段不能证实这一点。
- 4推理摘要OpenAI 表示将隐藏原始思维链，转而展示模型生成的摘要。
- 5Tetris 测试初始代码失败；提供错误信息后，修改后的游戏可以运行，但仍有缺陷。
要点建议
- 报告中的 AIME 83.3% 成绩来自后续 o1 对 64 个样本的多数投票，并非 o1-preview 的单次回答成绩。
- 科学基准得高分并不能证明模型具备全面的博士级能力。
- OpenAI 的安全数字适用于特定评估，并不保证所有情况下的安全行为。
- 第一版 Tetris 程序失败；修正版可以运行但仍有缺陷，主持人后来还指出提示词中有笔误。
- 公开界面展示的是推理摘要，而非完整的内部思维链。
按章节阅读整理后的全文
o1 发布与评估结果
Berman 回顾 OpenAI 2024 年 9 月的公告，并将预览版与后续模型的结果进行比较。数学成绩取决于 64 个样本的多数投票。
OpenAI 于 2024 年 9 月 12 日推出 o1-preview 和 o1-mini，称这是一个经过训练的新系列，在回答困难问题前会投入更多计算。报告中的数学、科学和编程表现让我很兴奋。这次讨论反映的是发布时的情况，并非当前产品可用性；OpenAI 后来已从 API 中退役 preview 和 mini。
OpenAI 表示，模型通过训练学会优化方法并识别错误。发布材料既包含当时可用的预览版结果，也包含仍在开发的后续 o1 模型结果。它们是不同版本，不应将某项测试中的表现概括为模型全面具有人类博士水平的能力。
在 2024 年 AIME 题目上，OpenAI 报告 GPT-4o 为 13.4%、o1-preview 为 56.7%、后续 o1 为 83.3%，这些数字都采用 64 个样本的多数投票。后续 o1 单次采样的成绩为 74.4%。因此，视频中的 83% 并非预览版的单次回答成绩；公司还报告后续 o1 在 Codeforces 排名第 89 百分位，而预览版为第 62 百分位。
OpenAI 在 GPQA Diamond 科学问题上将 o1 与博士专家比较。公司明确提醒，该基准上的表现并不意味着模型在所有方面都比博士更有能力。2024 年预览版缺少 ChatGPT 的一些功能，包括网页浏览和文件或图片上传，因此 GPT-4o 可能更适合许多普通任务。
安全、智能体与产品声明
OpenAI 介绍安全评估和潜在应用。演示并未证实 Berman 关于研究智能体和 Devin 的预测。
OpenAI 介绍了利用模型对规则的推理进行安全训练，并报告在一项困难的越狱评估中，GPT-4o 得分 22，o1-preview 得分 84。这些是该测试的结果，并不保证所有情况下都安全。公司还介绍了准备度评估、红队测试和与安全研究机构的合作。
我想象将更强的推理模型与智能体和自动化研究工具结合。潜力令人兴奋，但我认为这标志着智能爆炸即将到来，是一种预测，并非已经证实的科学结果。研究应用仍需要合格人员验证。
OpenAI 尚未披露该方法的所有细节。我推测它可能与此前传闻中的项目有关，但发布公告没有证实这些联系或具体实现方式。一段简短的生物学演示展示了模型在暂停后作答；它只是示例，而非对科学准确性的独立研究。
一段 Cognition AI 演示展示了 Devin 执行情感分析任务。我猜测它是否使用了新模型，并认为更强的基础模型可能改变 Devin 等产品所需的编排工作量。片段并未证明 Devin 由 o1 驱动；我的竞争分析属于推测。
OpenAI 还发布了 o1-mini，发布时将其描述为速度更快、价格更低且特别适合编程的推理模型。公司表示，它当时比 o1-preview 便宜 80%。这些历史价格和功能描述不构成当前产品建议。
技术报告与演示
OpenAI 展示强化学习、基准结果和精选案例。Berman 讨论人类偏好与隐藏推理摘要。
OpenAI 演示了一款根据提示词创建的浏览器 Snake 游戏。我指出，早期模型也能制作类似游戏，因此这个例子很有意思，但不是决定性的比较。我推测 o1 可能与另一款传闻中的模型相同，发布公告并未证实这一点。
技术报告描述了将强化学习应用于模型的内部推理过程，并报告在评估条件下，增加训练和测试时计算会带来提升。这并不意味着额外思考总能改善每一个答案，也不意味着模型实际上是一位人类科学家。
报告中的图表比较了 AIME、Codeforces 和 GPQA 结果。AIME 柱状图结合了单次采样准确率和 64 次采样多数投票，而编程第 89 百分位的成绩属于后续 o1 模型，而非预览版。这些是 OpenAI 报告的基准结果，并非广泛能力的独立证明。
OpenAI 提供了精选案例，包括密码解码、shell 脚本转换和数学题。在展示的比较中，GPT-4o 难以解开密码，而 o1-preview 给出了预期答案；这些是演示，而非具有代表性的失败率研究。
OpenAI 报告中的人类偏好评估在一些推理密集型类别中更偏好 o1-preview，但对于个人写作等部分自然语言工作则不偏好它。结果取决于提示词和评估者，也说明某方面的提升不一定让一个模型在所有用途上都最好。
OpenAI 报告称，在一组具有挑战性的越狱和边界案例中，o1-preview 给出安全回应的比例高于 GPT-4o。公司还表示不会向用户展示原始思维链，而会展示模型生成的摘要。摘要不是完整的内部过程，报告提出的监测方式也假设内部轨迹忠实且可解释。
Greg Brockman 将普通模型回应与扩展推理比作不同的思考方式。这是一个类比，并非模型像人类一样思考的证据。训练和推理细节仍有部分未披露，更长的推理也不能保证答案正确。
动手编程与词数统计
一个 Tetris 程序最初失败，修复后可以运行，但仍有缺陷。在这次单独测试中，一个自指词数统计例子成功了。
我让 o1-preview 编写一款 Python Tetris 游戏。经过长时间等待，第一版程序因属性错误失败。我提供错误信息后收到了修正代码；第二版可以运行并消除一行，但界面中有一个奇怪的嵌套游戏，也没有分数。
尽管存在缺陷，修复后游戏能够玩让我印象深刻。视频简介后来指出，我在 Tetris 提示词中有笔误，这可能解释了不寻常的嵌套游戏。这是一次交互测试，并非对编程可靠性的受控衡量。
最后，我让模型统计自己回答中的词数。它返回了一个七词句子，我数过后认为答案正确。我希望进一步测试模型；一个成功的回答和一个修复后的程序并不能证明普遍可靠性或智能爆炸。
同频道的其他文章
34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构，并质疑 AI 快速发展与安全之间的张力。
0:36EN → 简体中文Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原，并对 Kimi K3.1 的测试给予积极评价。
25:50EN → 简体中文Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测：3D 演示出色，表现不一，价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力，并比较基准成绩与价格。
32:20EN → 简体中文Matthew Berman· 2026年10月23日本地 AI 究竟适合谁？成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权，与硬件成本、设置复杂度及推理速度之间的关系。
1:03:37EN → 简体中文Matthew Berman· 2026年10月23日Matthew Berman 团队测试 Kimi K3.1：动画、游戏与图表Matthew Berman, Alex, Brian · Forward Future一场团队直播问答变成了对 Kimi K3.1 的非正式测试，内容涵盖个人智能体工作流、动态图形、浏览器游戏和基准图表。
0:53EN → 简体中文Matthew Berman· 2026年10月22日Sam Altman 谈 AI 与新知识的发现Sam Altman · OpenAIAltman 预计，数学发现方面的进展将延伸到生物学、材料和能源领域。