Q* 与推理研究：一份推测性的 2023 年分析

2023 年 11 月，AI Explained 对有关 OpenAI 项目 Q* 的报道作出推测。讲者明确表示自己的假设可能错误；这里讨论的公开论文和报道并不能确定该项目的实际设计。

他提到对 Sam Altman 离职与回归的一种报道解释遭到否认，并提醒不要误读一段流传的视频。该视频制作于新闻快速发展期间。

讲者将报道中的研究团队和公开提及与论文《Let’s Verify Step by Step》联系起来。共同的人名、时间和兴趣是他假设中的线索，并不能证实论文描述的就是 Q*。

他也考虑有关在测试时使用更多计算的报道。一般而言，推理时计算可以用于生成、搜索或评估候选答案；任何未公开项目具体采用什么方法仍然未知。

一篇 2021 年算术推理论文引入 GSM8K，并研究生成多个解答、用验证器排序。讲者将其描述为在回答时投入计算，而不仅仅增加训练计算。

他称验证在论文的实验中提高了表现，并将其与更大模型比较。这些结果针对特定模型和基准，不能作为检查总是比训练更容易或更好的普遍规律。

讨论引用了关于在游戏中权衡训练计算与测试时计算的研究，以及研究人员对更通用推理的兴趣。特定游戏中的证据本身不能证明开放任务会有同样收益。

讲者猜想高成本推理运行是否可能揭示更强的行为。他将其作为对未公开事件的推测；视频没有证据证实这样的运行确曾发生。

随后他解释过程监督：训练奖励模型评估中间步骤，而不只评估最终答案。目标是即使最终答案碰巧正确，也能识别有缺陷的推理。

使用过程验证器从许多候选解答中选择，可以改善所测试问题的结果。验证器仍可能出错，把曲线外推至接近完美表现也没有保证。

他将过程奖励模型与推理时搜索结合，形成自己对报道项目的理论。他还提出与安全工作时间线可能有关，但这些联系都属于猜测。

视频展示研究人员 Łukasz Kaiser 对逐步推理、检查步骤及未来多模态系统的公开发言。这些话描述的是研究方向，不能证实 Q* 的内部实现。

讲者推测，更有效地使用现有数据可能与生成更多合成数据同样重要。所展示的证据无法确定这些方法在报道项目中的相对重要性。

他承认自己的理论无法解释 Q* 这一名称，并讨论与最优动作价值或 Q-learning 的可能联系。记号或术语相似并不能证明使用了 Q-learning。

一篇论文提出可用强化学习训练生成器，这促使他提出另一种可能联系。讲者问后续工作是否这样做了，但没有证据确定确实如此。

他也考虑另一篇 STaR 自训练论文，以及名称中“star”可能与之相关的猜测。共同词语或符号只能引发联想，不能证明项目之间存在关系。

视频将游戏中清晰的输赢反馈与开放式语言任务难以评估的情况作比较。可靠反馈和泛化是自我改进尚未解决的重要挑战。

Ilya Sutskever 的一段发言提出担忧：优化可能产生意外行为。讲者将其作为安全问题提出，而不是某个具体事件或能力的证明。

他结束假设时承认自己可能完全错误，狭窄数学任务上的进步本身也不能证明通用智能。视频最后简短展示音乐生成。