2023 年关于 Q* 的已知信息与推测

在这期 2023 年 11 月的视频中，Matthew Berman 探讨有关 OpenAI 项目 Q* 的报道和网上推测。他将传闻与 Sam Altman 短暂遭解职联系起来，并讨论数学推理、搜索、自我对弈和合成数据。该项目据称的设计和能力大多未得到公开验证；视频标题和开头不能证明 AGI 已取得突破。

Berman 播放了 Altman 早前描述在 OpenAI 见证发现时刻的一段视频，再结合 11 月的领导层危机进行解读。Altman 的笼统发言没有指明 Q*，也没有解释董事会决定。OpenAI 的[11 月 17 日公告](https://openai.com/blog/openai-announces-leadership-transition/)称董事会对他的沟通失去信心；他随后重返首席执行官职位。

Berman 推测，商业化和安全方面的分歧导致 Altman 遭解职，并称董事会准备为了某项发现牺牲公司。当时的公开证据并未确立这些说法。2024 年 3 月，OpenAI 公布的 [WilmerHale 调查摘要](https://openai.com/index/review-completed-altman-brockman-to-continue-to-lead-openai/)将决定归因于信任破裂，并表示其并非源于产品安全、安保或开发速度；完整报告未公开。

路透社援引两位知情人士报道称，研究人员曾就一项发现致信董事会，而这封信是解职前提出的问题之一。路透社表示没有看到信件，也没有独立验证 Q* 的能力。OpenAI 称，其内部沟通提醒员工关注媒体报道，但没有确认报道准确性；关于所谓因果关系的报道存在争议。

据报道，相关能力包括使用大量算力解决某些数学问题。Berman 认为数学可能是推理能力增强的一种信号，同时指出已知信息很少。成功解决未具体说明的问题，不能证明系统具备一般推理能力、取得证明突破或找到通往 AGI 的道路。

Berman 承认 The Verge 的 Alex Heath 曾报道，OpenAI 消息人士对一封关于突破的信促成解职这一说法提出异议。随后他梳理了可能的解释，包括新架构、合成数据和类似游戏的搜索。这些都是评论者提出的假设，并非已披露的 Q* 事实。

他讨论基于 Transformer 的语言模型，认为仅预测下一个 token 与理解数学不同。模型可能在简单推理测试中失败，但正确答案本身既不能证明真正理解，也不能证明只是记忆；其能力和机制需要审慎评估。

他的例子比较三名跑者：如果 Jane 比 Joe 快，Joe 比 Sam 快，那么 Sam 就不比 Jane 快。Berman 用这一传递关系区分有效推理链和猜测答案。这个例子用于说明问题，并非对 Q* 的测量。

Berman 阅读了将 Q* 与 [STaR：Bootstrapping Reasoning With Reasoning](https://arxiv.org/abs/2203.14465) 联系起来的网上推测。这篇 2022 年论文的研究者包括 Eric Zelikman 和 Noah Goodman。名称或概念相似并不能证明 OpenAI 使用了 STaR；它是一项独立、公开的研究成果。

思维链提示要求模型在最终答案之前给出中间推理步骤。Berman 表示，这种方法在他自己非正式的模型测试中有所帮助，并以将数学问题拆分为部分为例。改进程度取决于任务和方法，生成的步骤本身也可能包含错误。

STaR 根据少量示例生成候选推理过程，必要时利用已知答案重试，再使用产生正确答案的推理过程进行微调。论文报告了其评估数据集上的改善，以及在 CommonsenseQA 上的比较。这是在答案信号下进行的监督式自举，并非不受约束的自主自我改进的证明。

图示例子询问什么可以携带一只小狗：推理过程指出篮子是能装东西的物品。正确答案提供训练示例，失败的尝试可以在提示帮助下重新生成。Berman 认为这一方法可能是 Q* 的组成部分，但其关联仍属猜测。

接着，他讨论 OpenAI 的 [Let’s Verify Step by Step](https://arxiv.org/abs/2305.20050)，该研究比较了对最终答案的反馈和对中间步骤的反馈。在论文的评估设置下，过程监督模型解决了有代表性的 MATH 测试子集中的 78% 问题。这个历史结果不是 Q* 的成绩，也不能证明其在所有数学问题上的表现。

Berman 解读研究员 Nathan Lambert 对 Q* 可能结合内容的推测：搜索推理步骤、过程奖励模型和合成数据。Lambert 根据 Q-learning 和 A* 对名称提出的解释是一项假设，并不能证明代号揭示了具体实现。

这一搜索类比借鉴了 AlphaGo 等游戏系统中的自我对弈和前瞻规划。系统可以探索候选行动，并利用反馈进行选择；将这类想法用于开放式语言任务则是另一类问题。所展示的来源没有证明 Q* 实现了这种组合。

Berman 将自我对弈描述为智能体通过反复与自身不同版本互动而改进，并考虑用 AI 生成的反馈补充人类标注。自动反馈可能扩大规模，但其质量和验证仍然重要。第二个模型给出的评论并不自动正确，也不等同于可靠的奖励信号。

前瞻规划在选择行动之前考虑其可能后果。Berman 提到模型预测控制和蒙特卡洛树搜索，并将它们与自己 2023 年语言模型测试中观察到的行为对比。这些方法的假设不同，不能仅凭关联来确定 Q* 的架构。

他回到用于评价中间步骤的过程奖励模型，讨论 Lambert 提出的将其与搜索及离线强化学习结合的方案。该流程是基于专业知识对可能技术的推测；视频中没有公开证据证实该项目使用了这一方案。

Berman 随后推测密码学问题，认为数学能力强得多的 AI 可能威胁加密。数学基准成绩提高并不意味着现代加密已被破解。真正的攻击需要展示方法和假设，并经过独立验证；笼统预测体系崩溃不能作为其发生的证据。

一条社交媒体玩笑声称 Q* 证明了 P=NP。Berman 认识到这条帖子是在开玩笑，并讨论假设存在证明时可能产生的后果。在这次讨论时，它并不是存在证明的证据：P 与 NP 的关系仍是未解决问题，即使证明两者相等，也不一定立即提供对每种密码系统的实用攻击。

他阅读了一封网上发布的所谓“Qualia”泄漏信，同时承认其真实性未知。信中关于元认知和密码学突破的说法未经证实，不应视为 AES 已被破解或文件来自 OpenAI 的证据。Berman 对这些说法的解读不能确立所声称的结果。

Berman 转而讨论 Yann LeCun 对网上 Q* 推测的批评，以及他认为更可靠的系统需要规划的论点。LeCun 提出能够预测行动后果的世界模型，同时指出学习足够通用的模型很困难。这是一种研究立场，并非对 OpenAI 所构建内容的确认。

Berman 对比快速生成 token 与更审慎的搜索，并将其类比为人类快思考与慢思考。增加推理时计算量是一种研究方法，但模型外显的推理文本本身不能证明它具有意识或自我理解。认为模型无法产生任何新颖内容的说法也存在争议。

视频回到 AlphaGo 和自我对弈。原版 AlphaGo 使用人类棋局和强化学习；后续的 AlphaGo Zero 在没有人类棋局数据的情况下通过自我对弈学习。Berman 用它们提出一个问题：能否为语言系统构建类似有用的反馈循环；它与 Q* 的关系仍然未知。

在一段视频中，研究员 Andrej Karpathy 解释了为什么围棋有相对明确的奖励：棋局以胜或负结束，因此可以自动评估反复的自我对弈。画面中的图表指 AlphaGo Zero 持续 40 天的训练过程；这是特定游戏结果，而非语言模型基准。

Karpathy 将这种情况与开放式语言任务对比：后者可能没有单一、廉价而可靠的奖励标准。他认为较窄领域可能允许自我改进，而一般情况在当时仍是开放研究问题。Berman 将这一挑战与当时关于 Q* 的推测联系起来。

Berman 还引用 Demis Hassabis 在 2023 年关于将游戏系统思路与大语言模型结合的评论，并提到让一个智能体评议另一个智能体的代码。这些都是研究人员探索的方法示例，不能证明某个秘密项目采用了它们，也不能证明反馈总能改善结果。

Berman 最后考虑的可能性是合成数据：生成新的训练示例，而不是只依赖收集到的人类材料。他讨论数据集的稀缺性和价值，并引用一项预测，认为合成数据可能提供更多训练 token。有用合成数据的数量、多样性和质量仍是需要实证研究的问题。

Berman 怀疑基于固定数据集训练的模型能否产生真正的新想法，但也承认自己可能有误。不能仅凭模型预测 token 这一点，就解决这个哲学和经验问题。他最后提出 Q* 可能结合推理、自我训练和合成数据，而其实际设计和意义在视频中仍未得到证实。