Strawberry 与 Orion：2024 年有关 OpenAI 下一代模型的报道

2024 年 8 月，我在关注有关 OpenAI 的 Strawberry 和 Orion 项目的报道。The Information 引述一位直接知情人士称，Strawberry 技术当年夏天曾向美国国家安全官员演示。这是一项据报道的说法，并非已展示完成版 GPT-5 或它即将发布的公开确认。

报道将 Strawberry 视为侧重推理的项目，将 Orion 视为另一个未来旗舰模型。我还讨论了此前报道中的研究代号 Q*，并猜测匿名账号 Jimmy Apples 早前的一条隐晦帖子是否预示了 Orion。这类帖子含义模糊，不能验证其内部消息，也不能证明所有代号都指同一个系统。

据报道，Strawberry 的目标是通过更多推理时间改善数学等困难任务的表现。我将其描述为多步骤思考，而非立即给出答案。这些文章没有公开证实其内部机制，也不应假定模型较长时间的处理过程与人类思考相同。

The Information 报道了向国家安全官员演示的情况，并推测这可能体现了与政策制定者沟通的努力。所引用的报道没有披露演示目的、技术成熟度或政府评估。我讨论了开放权重发布，并认为专有模型权重难以永久保护，但这是我的观点，并非已证实的必然结果。

据报道，Strawberry 的一个用途是为 Orion 生成高质量合成训练示例。我认为这很重要，因为开发者在获取有用的真实世界训练数据时面临竞争和限制。我声称几乎所有可获取的互联网数据都已经耗尽，这种说法过于宽泛；训练数据的可用性和质量取决于来源、许可及筛选。

合成数据还存在一个开放问题：如果示例由现有模型生成，它们能否改进后继模型，还是会循环放大错误和局限？更好的示例在某些情况下可能有帮助，但有关计划用途的报道不能证明数据质量，也不能证明幻觉将会消失。

The Information 描述了一项在 Orion 之前为聊天产品蒸馏 Strawberry 的工作。我推测，大型推理系统可能对某些消费者用途而言过慢或成本过高，但其精确延迟和实现方式没有得到公开证实。花更多时间可能有助于解决困难任务，同时也会改变用户体验到的成本和响应速度。

可能的应用包括困难的编程问题和异步工作的智能体，因为这些场景不那么需要即时回答。我设想用户可以选择何时使用较慢的推理模式。这些只是产品设想，并不是报道确认会以特定形式推出的功能。

The Information 的第二篇文章介绍了 OpenAI 对推理产品的开发和融资计划。文章称员工向同事展示了例如解决《纽约时报》Connections 字谜的案例。我认为这可能使用了中间推理或搜索，但确切技术没有得到确认；将某一种算法说成事实还为时过早。

文章还报道，当时月收入约为 2.83 亿美元，私人估值为 860 亿美元，月度亏损可能更高。这些历史数字来自相关报道，本文没有独立验证。我认为开放权重模型、Anthropic、xAI 和搜索产品的竞争正在增加 OpenAI 的压力。

我认为 Llama 3 等模型在许多用途上正变得能与 GPT-4o 竞争，而较便宜的模型可独立运行或微调。这是我的判断，并非所有任务都已证明两者等价：质量、推理成本和硬件需求因模型及工作负载而有很大差异。

文章再次将可能使用 Strawberry 生成数据的说法归于一位知情人士，并提出这可能提高 Orion 的可靠性。我认为幻觉是企业和高风险应用面临的严重障碍。检索、改进提示、独立检查和智能体工作流可能有帮助，但不能保证答案没有错误。

受访的一位 AI 初创公司负责人认为，更干净的示例可能减少歧义并改善推理。我希望有系统能可靠地一次解出逻辑题，但训练数据质量只是问题的一部分，报道也没有表明任何模型已经消除幻觉。

当研究成果在广泛的社群中传播时，我怀疑一家私人实验室能否无限期保持巨大领先优势。这是我的判断，并非对未来模型表现的可靠预测；私有数据、基础设施和未发表的研究同样可能影响结果。

文章指出数学和工程可能是更强推理能力的有价值应用。我提到 Google DeepMind 在 2024 年国际数学奥林匹克的成绩：其 AlphaProof 和 AlphaGeometry 2 系统通过形式化题目和专门方法解出了六道题中的四道，合计达到银牌水平（[DeepMind](https://deepmind.google/blog/ai-solves-imo-problems-at-silver-medal-level/)）。这不意味着通用聊天机器人在普通竞赛条件下独立获得了奖牌。

我还提到 Anthropic 在编程和视觉问答方面的改进，以及编程工具与 Claude 搭配使用的流行。2024 年的竞争格局十分激烈，但用户偏好和表现会因任务而异。我反对把多步骤提示贬为廉价伎俩：将问题拆解可能有用，即使它增加了延迟或成本。

The Information 将所报道研究追溯到 Ilya Sutskever 及其他 OpenAI 研究人员的早期工作。视频对内部安全担忧和人员离职有所猜测；这些报道没有揭示某项具体未公开突破，也不能证明每个人离职的特定原因。

最后，我谈到《纽约》杂志一篇关于泄密、代号和网络猜测引发热情的文章。文章提到了我的一段视频，这让我感到荣幸。猜测可以很有趣，但匿名帖子、耸动标题和预测都不能证实实验室究竟构建了什么。

后续发展让这一事件有了更清晰的时间线：OpenAI 于 [2024 年 9 月推出 o1-preview](https://openai.com/index/introducing-openai-o1-preview/)，The Information 将其与 Strawberry 联系起来；OpenAI 又于 [2025 年 2 月发布 GPT-4.5 研究预览版](https://openai.com/index/gpt-4-5-system-card/)。这些发布本身并不能独立验证此前关于演示、训练数据或内部代号的所有报道。