报道中的 OpenAI Strawberry 项目与五级 AGI 框架

2024 年 7 月，Matthew Berman 讨论[路透社的报道](https://www.reuters.com/technology/artificial-intelligence/openai-working-new-reasoning-technology-under-code-name-strawberry-2024-07-12/)：OpenAI 有一个名为 Strawberry 的推理项目，据路透社称此前名为 Q*。他还解读一套据报道用于衡量 AI 进展的内部五级框架。视频早于后来的产品发布，他讨论的许多细节来自匿名消息人士，而非公开的技术说明。

路透社记者 Anna Tong 和 Katie Paul 报道称，一份内部文件和一位知情人士描述了一个旨在改善推理与研究能力的项目。文件的确切日期并不清楚。Berman 将规划和自主互联网研究描述为可能的目标，而非报道独立证明的能力。

Berman 推测，AI 可以更有效地利用训练数据或生成合成数据，并将其与人们学习时反复回顾信息进行比较。他声称预训练模型必然只看一次数据，这种说法过于笼统：训练可能重复使用样本或进行多轮处理，具体做法各不相同。他的比较是对可能方法的假设，而非 Strawberry 已证实机制的描述。

他还设想模型在回答之前花更多时间处理问题，并将这一想法与思维链提示和多智能体系统比较。这些是不同的方法，他的类比和来源材料都不能确定 Strawberry 的确切架构。更长的计算时间也不能保证每次都得到更好的答案。

Berman 指出，OpenAI 在回应路透社时笼统表示，公司在研究更强的 AI 能力和推理能力。该声明没有披露项目的技术设计。他对数学方面的报道很感兴趣，但将公开声明与归因于匿名消息人士的零散信息区分开来。

另一位消息人士告诉路透社，OpenAI 曾在内部测试一个 AI 系统，在 MATH 数据集上得分超过 90%。路透社无法确定该系统是否为 Strawberry。这个数字是针对特定基准的未经证实的报道结果，不能证明一般数学能力，也不是已确认的 Strawberry 成绩。

Berman 还引用了关于 OpenAI 员工会议上展示一项研究成果的报道。根据视频中展示的路透社文章，公司确认召开了会议，但路透社无法确定演示的项目是否为 Strawberry。这些报道描述了可能的进展，并非经过独立验证的性能表现。

他讨论了为何多步逻辑、规划和可靠的常识推理对 2024 年可用的语言模型而言仍然困难。研究员 Yann LeCun 认为，仅靠语言不足以全面理解物理世界；也有人对扩大规模和改进模型设计能够实现什么持不同看法。Berman 将其视为关于系统如何构建有用世界模型的争论。

作为例子，他提到设想一条从北极出发的路线，并询问它是否会经过起点。他的意思是，空间推理可能涉及对世界的内部表征，而不只是重复词语。某个模型能否解出某道题，本身并不能决定人类或机器推理的工作方式。

Berman 认为，更可靠的规划可能有助于科学研究或软件开发，并推测它可能促进通用人工智能的发展。他引用了 Leopold Aschenbrenner 关于 AGI 之后进展的观点；随后的智能爆炸是一种预测，而非改善推理能力已被证明的必然结果。

视频反映了 Berman 在 2024 年 7 月对 OpenAI 产品发布日期不确定的失望，以及他对进一步进展的期待。路透社根据消息人士报道，一些外部人士听过关于更强推理技术的介绍。这些报道没有确定发布日期，也没有确认未来模型就是 GPT-5。

据一位路透社消息人士称，Strawberry 涉及一种特殊的后训练方式，即在初始训练之后调整模型。Berman 认为，修改现有模型可能比训练新模型更快或更便宜，但报道没有提供足够信息来计算实际成本或开发时间。

路透社还报道了一位消息人士将其与 [STaR，即 Self-Taught Reasoner](https://arxiv.org/abs/2203.14465) 相比较。STaR 是一种 2022 年的方法，通过生成推理示例并利用成功案例反复微调。与 STaR 相似是消息人士的描述，并不能证明 Strawberry 使用了这一公开方法。关于这种方法可能超越人类智能的说法属于理论推测，而非实验证据。

据报道，项目目标包括长时程任务：在一段时间内规划并执行一系列操作。Berman 设想可以配置思考时间，让智能体将困难任务交给较慢的流程，再把结果与其他工作结合。这些是他用于说明的设想；路透社无法从文件中确定项目任务的确切时长。

路透社描述了一个目标：使用计算机操作智能体浏览网页，并根据发现采取行动开展研究。这是报道中的目标，并非经过验证的 2024 年演示。后来，OpenAI 于 2024 年 9 月发布 [o1-preview](https://openai.com/index/introducing-openai-o1-preview/)，这是一个经过训练、会在回答前花更多时间处理问题的推理模型；路透社随后报道称 o1 与 Strawberry 代号有关。o1-preview 发布时尚不具备网页浏览功能。

接着，Berman 转向媒体对一套据称属于 OpenAI 的内部五级框架的报道。在 2024 年 7 月的报道中，聊天机器人处于第一级，而公司据称接近第二级，即能在某些问题上达到受过博士训练的人的水平。这是据报道的公司框架，并非普遍接受的 AGI 衡量标准。

据报道，第三级描述能够代表用户采取行动的智能体。Berman 预测，有用且能够持续工作的智能体可以大幅提高生产力，并将 Apple 宣布的 AI 功能作为他所设想方向的早期例子。他对社会影响的估计属于个人观点，并非既定结果。

对于能够访问个人信息的助手，Berman 倾向于在手机或其他边缘设备上本地运行高度专门化、高效率的模型。这一偏好反映了隐私方面的顾虑：本地推理不一定需要让数据离开设备，但安全性仍取决于存储、权限和周边系统。

据报道，第四级涉及能够创造新创新的系统；第五级涉及能够完成整个组织工作的系统。Berman 将第四级与他自己对 AGI 和可能的自我改进的理解联系起来，并将该尺度与自动驾驶等级作比较。无论是排序还是提出的终点，都不能解决 AGI 的定义及是否已实现这一有争议的问题。

Berman 最后询问 Strawberry 是否与 Q* 有关，以及它是否会成为未来模型。路透社后来将这一代号与 o1 发布联系起来，但视频中关于 GPT-5、时间表和未来能力的猜测，在录制时并未得到确认。