Absolute Zero：用自行生成的编程任务训练推理模型

一篇名为《Absolute Zero: Reinforced Self-play Reasoning with Zero Data》的论文探讨了语言模型能否自行出题、尝试解题并从反馈中进步。我觉得这个可能性令人兴奋：它或许能减少人类在每个训练阶段提供新推理题的需求。

论文展示了三种情形。监督学习中，人类提供示范；可验证奖励强化学习中，人类仍然提供任务，验证器则检查结果。在 Absolute Zero 中，模型既出题又解题，环境负责提供反馈。这是训练循环的变化，并不能证明整个系统的构建没有人类参与。

可验证奖励对数学和编程等领域很有用：如果我问 2 + 2 等于多少，程序可以检查答案，无须人类逐次评分。但传统上仍需要有人准备题目。研究者认为，创建足够多由专家整理的高质量任务可能成为瓶颈，尤其是在模型能力不断提高的情况下。

零式 RLVR 方法可以省去包含完整推理过程的冷启动数据集，但仍依赖整理好的问答对。论文提出的问题是，模型能否同时生成自己学习的问题。研究者担心，仅依赖人类设计的任务，最终可能限制这类系统的学习能力。

研究者将这种方法称为自我对弈：一个模型学会提出具有学习价值的任务，并利用环境反馈解决这些任务。我把这个想法与 AlphaZero 通过自己与自己下棋学习作比较。这个类比针对的是自我对弈机制；它并不能证明该语言模型已达到同样的棋类水平或超人的通用推理能力。

环境提供可验证的奖励，就像实验会反馈哪些方法有效一样。在这一实现中，Python 执行并检查基于代码的问题。尽管使用了“零数据”这个说法，研究者仍以预训练语言模型为起点，使用人工设计的提示词和验证机制，并用一个简单的恒等函数种子初始化实验；这一说法指的是该强化学习阶段没有人工整理的任务数据集。

Absolute Zero Reasoner 同时担任出题者和解题者。它生成三种推理模式的代码任务：溯因、演绎和归纳。Python 帮助构造和验证任务，并检查解答。随后，模型根据所提问题的可学习性和答案是否正确这两方面的反馈进行更新。

对于难度适中、解题者有时能够成功解决的问题，出题者获得的奖励最高。按照这一设计，总是过于简单或永远无法解出的问题几乎无法提供学习信号。目标是不断生成接近模型当前能力的挑战，而不是反复提出太简单或太难的问题。

研究者报告称，尽管自我对弈任务是在编程环境中生成的，与所比较的零式模型相比，该方法在数学上表现具有竞争力，在编程上也表现出色。这一结果只涉及论文中的模型、基准和训练条件，不能证明它在所有领域都普遍更优。

一项观察是，面向编程的起始模型在这次训练后，数学任务表现大幅提升。研究者还报告称，与他们检查的特定编程训练基线相比，跨领域提升更明显。我觉得这很有意思，因为代码可以锻炼结构化推理；不过这一比较不能证明所有编程训练模型在所有情境下都具有更好的泛化能力。

作者报告称，在测试过的模型规模范围内，较大的基础模型获得了更大提升。他们还观察到生成代码中的注释出现了中间计划，并且模型会根据任务采用逐步推理、试错等不同行为。这些是实验观察，并不能保证每个模型都会这样表现。

论文提出了一项安全问题：在使用 Llama 3.1 8B 训练时，研究者偶尔观察到令人担忧的生成推理，并将这个例子称为“uh-oh moment”。我认为这值得关注。但仅凭一段令人不安的文本，无法确立模型存在自主意图，也不能证明模型能够按此行动。

我看到了反复提出、检查并解决新任务的循环的吸引力。我也曾提出算力可能成为限制因素，但实验并未证明算力是唯一限制，也没有证明提升能够无限持续。解读结果时，任务设计、验证、安全性和起始模型都很重要。

可学习性奖励让预期的课程安排更具体：如果一个问题总能解决或永远无法解决，它给出题者提供的信号就很少。解题者偶尔答对的问题则能获得更多奖励。解题者本身根据经过验证的最终输出获得正确性信号。

在展示的 Qwen2.5-7B 比较中，以编程模型初始化的 AZR 综合平均分达到 50.4。这个数字是编程基准平均分与数学基准平均分的均值；它是该表所列模型中最好的综合分数，并非所有可用模型的排名。几个基线使用了人工整理的编程或数学数据。

论文报告称，编程起始模型在报告的数学平均分上起点低于对应的基础模型，但其数学表现有了大幅提升。研究还测试了不同规模的模型，以及 Llama 和 Qwen。作者在这些设置中观察到提升，但结果因模型和基准而异。

研究者观察到生成的代码注释被用作计划，模型在困难任务中进行试错，并且在某些情况下产生更长的推理过程。我认为这种方法很有潜力，因为它减少了这一阶段对人工整理任务的依赖。它是否标志着一个转折点，或者能否扩展到大得多的系统，仍是未解问题。