Q* 传闻、能量模型与推理研究

又出现了一份据称有关 Q* 的泄露材料。这个 OpenAI 项目引发了大量关于通用人工智能的猜测。我觉得这些想法很有意思，但接下来讨论的很多内容都是传闻：匿名来源无法核实，其中的说法也不能证明 Q* 是 AGI。

Q* 大约在 Sam Altman 暂时离开 OpenAI 时成为讨论话题。有人问及该项目时，Altman 提到一次“令人遗憾的泄露”，却没有描述项目本身。我认为这是承认存在一个名为 Q* 的项目，但它对实际设计透露的信息很少。他在那个时期关于研究突破的言论也引发了猜测；我们不知道他指的是否是 Q*。

Nathan Lambert 曾探讨 Q* 可能涉及什么。路透社报道，OpenAI 内部一些人认为它可能是迈向 AGI 的突破；OpenAI 将 AGI 描述为在大多数有经济价值的任务上超越人类的自主系统。讨论涉及两个方向：数学和更广泛的规划能力，这在当时都是语言模型的难点。

语言模型预测序列中的下一个 token。思维链、思维树等提示方法可以引导模型进行更长的推理，但我认为跨越多个步骤的规划仍然具有挑战性。问题在于，其他技术是否能帮助系统在回应之前考虑行动的后果。

一个可能的方向是自我对弈：智能体通过与自身的不同版本对弈，在逐渐遇到更困难的情况时不断改进。这并非新想法，AlphaGo 就是一个例子；更强的算力则让大规模重复模拟成为可能。有些人相信规模本身是实现 AGI 的关键，但这一观点存在争议。

在一段采访中，Yann LeCun 认为智能需要以某种现实为基础，即便那是模拟现实也可以。他说，环境远比语言所能表达的丰富，人们经常在不借助语言的情况下操作对情境的心智模型。

LeCun 认为，单靠语言模型不足以建立世界模型；他正在研究 JEPA，作为建立世界模型的一种方法。与此同时，自我对弈可以让智能体学习环境，而不需要针对每种情况给出明确指令。这些是不同的研究方向，都不能证明 Q* 使用了什么。

第二个假设中的要素是前瞻规划：利用世界模型推演可能的未来，从而选择更好的行动或输出。Lambert 讨论了常用于连续状态的模型预测控制，以及适用于离散行动和状态的蒙特卡洛树搜索。Q* 是否采用这些方法仍然只是猜测。

3 月早些时候，使用化名的发布者 Jimmy Apples 声称，原本计划在 GPT-5 之前推出 Q* 和一次模型更新，但一场诉讼将使其推迟，直到法务部门批准。这是未经证实的计划和时间安排传闻，不能证明诉讼造成了延迟。

LeCun 还提出了一道空间推理题：从北极出发，朝任意方向走一公里，向左转 90 度，然后继续走。他问，经过出发点所需的路程是大于、等于还是小于两倍圆周率公里，或者你根本不会靠近出发点。他希望读者审视自己在思考这个问题时使用的心智模型。

我同意这个例子需要空间推理，但不确定它是否证明语言不够用。我认为这条路径永远不会经过出发点，而 ChatGPT 回答小于两倍圆周率公里，我认为它答错了。结果取决于如何理解路径和几何条件，因此单凭这次交流无法解决有关语言与推理的更广泛争论。

现在来看这份所谓的泄露材料：一个账号分享了一段文字，称它来自某个未指明的文本分享网站。作者身份未知，我们无法确认其真实性。材料声称 Q* 是一个使用能量模型进行某种形式深思的对话系统。应当把它看作对假设性系统的描述，而非已证实的 OpenAI 工作。

我请 ChatGPT 解释能量模型。基本想法是用能量函数为某个配置赋予一个标量分数；推理过程可以涉及搜索低能量配置。拿玩具箱作比喻，就是给更合适的摆放方式更低的分数。这个分数反映模型学到了什么，低分不能保证给出的答案正确。

匿名文本将这种评分方法与逐个生成 token 的方法作对比。它声称系统会评估完整回答与提示的契合程度，对更契合的答案赋予更低的能量。用国际象棋作类比，就是选择之前先考虑可能的走法；不过，文本并没有证明这样的系统真实存在，也没有证明它会评估每一个可能的答案。

帖子声称，所谓的优化发生在抽象表示空间中，而不是直接针对文本字符串。它描述了如何使用梯度下降调整这些表示，使其针对提示的能量降低。我对这种可能性感兴趣，因为它提出了另一种构建深思过程的方式，但它所声称的与 Q* 的联系尚未得到证实。

同一份材料还称，自回归解码器会将优化后的表示转换为文本回答。它还描述了使用提示与回答配对来训练能量模型：降低契合配对的能量，提升不契合配对的能量。这篇帖子并不能证明这是真实设计，也不能证明它在实际中会改进推理。

帖子宣称这种方法效率更高，也更擅长深度推理。这些只是说法，并非已展示的结果。它将模型、优化地形和表示方式列为重要的技术考量，但没有提供经过验证的实验来证明其性能。

这篇帖子在 r/singularity 板块流传，评论者对此持怀疑态度，认为它可能由 AI 生成。我觉得即使来源有误，这些想法也值得讨论，但我们应该区分概念上的可能性和真实泄露。我好奇这类方法是否能改进语言模型的推理能力；这并不意味着已经实现 AGI。

让我注意到这件事的账号 Chubby 提出了另一种看法：Q* 可能是一种教模型逐步推理的方法，并将其与 AlphaGo 和思维链作比较。我不知道这个描述是否准确。Chubby 还提到了已经发表的自学推理研究。

Stanford 和 Google Research 的研究者在 2022 年发表的 STaR 论文探讨，模型如何利用少量推理过程示例和更多没有推理过程的问题，自举出推理能力。模型生成分步解释和答案，正确的例子可以用于进一步训练。

例如，对于“什么东西可以装着一只小狗”的问题，模型可能推理说篮子是用来装东西的，然后回答“篮子”。如果它答错，这个方法会提供正确答案作为提示，让模型再次生成推理过程。这形成了一个迭代训练循环，并不能证明匿名帖子中描述的新架构存在。

另一篇较新的论文 Quiet-STaR 将这一想法推广开来。Eric Zelikman 描述了如何训练语言模型生成有助于预测后续文本的中间思路。模型可以从改善预测的思路中学习，并用标记表示思路的开始和结束。

按照论文的描述，模型在 token 位置生成推理过程，以帮助解释后续文本。Berman 将其描述为鼓励模型在预测之间思考的一种方法，无需假定帖子所声称的那种完全不同的架构。他还认为该技术可以应用于现有模型，但论文的结果只针对所研究的系统和测试。

研究者报告了 GSM8K 和 CommonsenseQA 的结果，图表显示随着思路数量增加，性能有所提升。Zelikman 在后续更新中报告，将 Quiet-STaR 与思维链结合后，GSM8K 的零样本准确率提高了超过 7 个百分点。这些是作者针对特定评估报告的结果，并非推理能力的普遍证明。

Quiet-STaR 团队还发布了代码和模型权重，供其他人检查和实验。我很想看看人们会用它们做出什么。匿名的 Q* 描述是否真实，以及 Q* 与 GPT-5 是否有任何关系，在这场讨论中仍是未解的问题。