TinyZero：一项耗资约 30 美元的小型算术任务强化学习实验

伯克利的研究项目 TinyZero 在一个小型算术游戏中展示了类似 DeepSeek-R1-Zero 的强化学习效果。报告中的成本不足 30 美元，指对一个已有预训练模型进行的一次特定训练；它不包括构建前沿基础模型的成本，该项目也没有克隆 DeepSeek-R1 或证明具备同等的通用推理能力。

DeepSeek 论文描述了 R1-Zero 的一个中间模型出现的“顿悟时刻”：解决问题时，它重新评估了最初的方法，并用更多输出进行推理。作者将其作为强化学习过程中涌现策略的例子，而不是人们明确提供了逐步演示。

我认为，在基础模型预训练之后，强化学习会变得越来越重要。像许多数学或编程任务那样，答案可以验证时，明确的奖励就更容易定义。哪个颜色最好这类开放式问题没有唯一的客观正确答案，难以用同样方式给予奖励。

UC Berkeley 博士生 Jiayi Pan 和合作者把这一思路应用到了 Countdown。他们使用已经预训练的 Qwen2.5 模型，包括一个 3B 基础模型，并在模型给出有效解答时给予奖励。这是对 R1-Zero 所研究行为的小规模复现，并非对完整 DeepSeek 模型的蒸馏。

项目报告称，模型在强化学习期间发展出了以文字呈现的搜索和自我验证行为。这一观察针对的是它在受测任务上生成的解答，并不能说明模型从零学会了通用推理。在 DeepSeek 的研究中，起始模型也已经过大量预训练。

奖励函数告诉系统，一次尝试在多大程度上达到了目标。在 Countdown 中，玩家使用基本算术运算组合给定数字以达到目标值，因此答案可以自动检查。与主观的创意任务相比，这更便于尝试多种候选解并奖励正确结果。

一个例子要求用 19、36、55 和 7 构造一个等于 65 的算式。展示的回答先尝试并修改中间步骤，最后给出 55 + 36 - 7 - 19 = 65。这只是一个输出示例，并非对所有可能问题可靠性的测量。

这个方案从基础语言模型、提示和基于真实答案的奖励出发，然后在游戏上应用强化学习。Pan 报告称，最初用处不大的输出逐渐发展出了修改和搜索。实验日志可供进一步查看。该视频由 AWS 赞助；其 Bedrock 推广与 TinyZero 研究是两回事。

我猜想，适用于狭窄工作的模型最终可能结合针对特定任务的强化学习，以及推理时的额外计算或训练。这是值得探索的可能性，并非本实验展示的结果。测试时计算与推理时改变模型权重是不同的概念，视频并未展示二者结合。

团队比较了参数量分别为 0.5B、1.5B、3B 和 7B 的 Qwen2.5 基础模型。Pan 报告称，最小的模型倾向于猜一个答案后停止，而从 1.5B 开始的模型在该设置下学会了搜索、验证和修改。展示的训练曲线表明，起始模型的能力对这项任务很重要。

他们还比较了基础模型与经过指令微调的变体。指令模型学得更快，输出更有结构、更易读，但报告中二者最终在 Countdown 上的表现大致相近。这是针对这些特定运行的证据，不能证明所有应用都不需要指令微调。

Pan 说团队尝试了 PPO、GRPO 和 PRIME，并在每种方法下都观察到了较长的推理轨迹。研究人员尚未调整超参数，并明确表示不会对这些算法进行定量排名。因此，实验不能证明算法选择从来不重要。

观察到的策略也取决于任务。在 Countdown 中，模型搜索并检查提出的答案；在乘法任务中，Pan 报告模型使用了基于分配律的逐步求解策略。考虑为特定问题设计的小型系统时，我认为这种差异很有意思。

核心限制在于范围：Pan 表示，主要结果是在 Countdown 上验证的，并未在通用推理上验证，计算资源限制了进一步实验。另一次 Open LLaMA 运行遇到了终止问题：由于实现没有在答案后停止，模型经常继续生成，因此团队没有在线程中报告那些结果。

被问及价格时，Pan 表示那次运行使用 3B 模型和 PPO，估计约需 10 个 H100 GPU 小时，按所假设的费率约为 30 美元。这是额外实验的估计成本，不是 Qwen 预训练、全部研究或复现 DeepSeek-R1 的成本。实际成本取决于硬件价格和配置。

初步观察显示，3B 模型在学会预期格式的过程中，输出长度先下降；随后，随着表现改善，思维链长度增加。Pan 提醒，细微的代码不匹配可能影响这一早期结果，因此应谨慎解读。

Pan 还认为，在所述混合专家模型和 FP8 假设下，DeepSeek 公布的训练成本数字是合理的；这是他的判断，并非独立审计。TinyZero 的代码、数据集和实验日志已开放，供其他人研究和复现这一窄范围实验。