Strawberry 传闻与两场匿名聊天机器人推理测试

今天是 2024 年 8 月 7 日，我想看看围绕 OpenAI 据称即将推出的下一代模型而不断升温的传闻。Sam Altman 发布了一张花园里的草莓照片，配文是“我喜欢花园里的夏天”。这一时机让关注传闻中的 Strawberry 或 Q* 项目的人兴奋不已，但一张照片并不是产品公告。

Chatbot Arena 上出现了两个匿名模型名称，让人想起此前的匿名模型测试。我起初找不到它们，因此查看了其他用户的报告和截图。其中一个叫 anonymous-chatbot，另一个名称不同；我们不能自动认定它们是同一个模型。

一位用户问 anonymous-chatbot 它是什么模型，它声称自己基于 GPT-4 架构。模型对自身的描述不能证明其身份。同一位用户表示，他的个人测试非常有限，没有发现明显的推理能力提升，数学方面也许有些改善。

一条社交媒体帖子汇总了有关 Q* 和 Strawberry 的说法，包括可能有新前沿模型，以及两个项目名称之间存在关联。这些都是报道和猜测，并非已经证实的发布细节。传闻中的改进方向是增强规划和推理能力，进而可能帮助解决数学和逻辑问题。

其他传闻中的能力包括浏览网页进行更深入的研究，以及完成一长串行动。Berman 还讨论了后训练，以及预训练后继续学习的可能性。这是不同的概念：后训练可以改变模型，但并不能证明已部署的系统会从每次交互中持续学习。

网上还流传着据称针对 anonymous-chatbot 的越狱示例。这个例子不能证明它由哪家公司开发。Bindu Reddy 提出了不同的竞争预测：其他实验室在推理和合成数据方面也取得了进展，因此她质疑 Strawberry 相比未来的竞争模型能有多大优势。

我把 Google DeepMind 最近的数学奥赛成果视为进展的证据。但我说数学推理“几乎解决了”过于夸张：[DeepMind 报告](https://deepmind.google/blog/ai-solves-imo-problems-at-silver-medal-level/)称，AlphaProof 和 AlphaGeometry 2 解出了 2024 年国际数学奥林匹克竞赛六道题中的四道，在题目被转成形式化语言的条件下得到 42 分中的 28 分。这个银牌水平的成绩并不意味着普遍的数学推理问题已经解决。

另一个模型名叫 sus-column-r。截图显示它回答 9.11 和 9.9 哪个更大：它把 9.9 写成 9.90，比较十分位数字，正确选择 9.9。一些用户猜测这段解释揭示了新的推理方法或 OpenAI 项目，但仅凭可见的解释无法确认这两种说法。

现在可以补充一个重要的历史更正：2024 年 8 月 13 日，[xAI 表示](https://x.ai/news/grok-2)，sus-column-r 是其 Grok-2 模型的早期版本。这一确认并未揭晓另一个名为 anonymous-chatbot 的模型身份。OpenAI 后来于 [9 月 12 日推出 o1-preview](https://openai.com/index/introducing-openai-o1-preview/)，但这一发布并不能证明某个匿名 Arena 模型的身份。

另一个社交媒体账号热情地预测 Strawberry 即将发布。我不知道账号由谁运营，也不知道它是否掌握内幕，因此应以此为前提看待它的说法。当时我认为 Llama 3.1 405B 等产品带来的竞争压力可能促使 OpenAI 发布公告。

录完前半段后，Shaun Ralston 解释了为什么我无法直接找到这些模型。它们出现在 Arena 的盲测对战模式中：用户向两个匿名模型提交提示，投票后才能知道模型名称。因此，要碰到某个特定模型，需要反复尝试。

我的第一道测试题是：房间里有三名杀手，一个人进入房间并杀死其中一人，没有人离开。还剩多少名杀手？GPT-4-0613 回答是三名，因为原来的杀手有两人活着，而进入房间的人也成了杀手。这个常见答案统计的是活着的人，并假定进入者是另一个人。

sus-column-r 的回答将情况拆成初始状态、行动、结果和最终计数。如果算上进入者，它给出的答案是三人；如果只算原来的杀手，则是两人。这一次的解释更详细，但单个样本不能证明它整体上更优秀，也无法揭示模型隐藏的内部推理过程。

我更难的一道题是：把一颗弹珠放进玻璃杯，将杯子倒扣在桌上，再把杯子拿起来放进微波炉。弹珠在哪里？按照通常的理解，倒扣的杯子被拿起后，弹珠会留在桌上。最初的两个回答都说弹珠在微波炉里；它们都不是那两个神秘模型。

第二次尝试揭晓了 anonymous-chatbot，它也说弹珠最终会在微波炉内的杯子里。按照题目预期的物理场景，我认为这个答案不对。和许多简短谜题一样，答案取决于我们对杯子如何倒转和拿起的假设。

Ralston 还分享了 sus-column-r 对同一提示的回答。它的最终答案是弹珠留在桌上、微波炉外，符合题目预期。不过，它对中间物理过程的部分解释有些别扭，因此不能把正确的最终答案误认为完全连贯的解释。

这些只是几个演示，并非完整评估。我计划进行更广泛的测试，也想问观众：传闻中的发布是否临近，还是草莓帖子只是在逗大家？sus-column-r 后来身份的揭晓说明，匿名模型的名称和输出只能为判断其提供方提供很弱的证据。