DeepScaleR：在竞赛数学中测试的小型推理模型

2025 年 2 月，Matthew Berman 回顾 DeepScaleR-1.5B-Preview，这是 Berkeley 研究人员使用强化学习从 DeepSeek-R1-Distill-Qwen-1.5B 微调得到的模型。他对一个小模型在部分竞赛数学基准上超过 OpenAI 的 o1-preview 感到兴奋。但这一结果不能证明它在所有数学、常识或其他任务上都更强。

研究人员介绍了分布式强化学习和更长上下文训练。Berman 猜测“分布式”可能意味着集群分布在世界各地，但单凭这个术语不能确定其物理位置。团队报告称，这项工作使用了 4 万道数学题，并逐步扩展回答长度。

团队的表格报告称，DeepScaleR 在 AIME 2024 上的 pass@1 为 43.1%，o1-preview 为 40.0%；在 MATH-500 上分别为 87.8% 和 81.4%。这些是特定评估设置下的历史基准结果，不能证明 1.5B 模型在每道数学题或相对于所有 o1 版本都更强。

Berman 对比了评估最终答案的结果奖励，以及对中间步骤提供反馈的过程奖励。他更喜欢过程反馈，因为它可以指出推理从哪里开始出错。这是他的观点；视频没有展示证明过程奖励总是更好的实验。

研究团队认为，强化学习能够改善已经用高质量蒸馏推理数据初始化的小模型。据报告，其 AIME 2024 得分从初始模型的 28.8% 升至 DeepScaleR 的 43.1%。Berman 认为这说明专门训练的小模型可能对狭窄任务有用；这并不意味着同样的提升会转移到所有领域。

研究人员报告称，这次训练使用约 3,800 个 A100 GPU 小时，花费 4,500 美元。这是他们所报告的本次运行成本，不包括创建基础模型、原始蒸馏、数据、研究和基础设施的全部费用。Berman 指出团队发布了模型权重和训练代码，使其他人能够检查并在此基础上继续工作。

Berman 下载量化的 GGUF 版本，在 M2 Mac 的 LM Studio 中本地运行，同时录制视频并执行另一项训练任务。他估计画面中的量化文件约为 1.12 GB，而全精度文件更大。硬件内存、上下文长度和运行环境都会影响特定设备能否运行；视频没有展示手机演示。

他给模型出了一道 AIME 题。模型生成冗长回答和一个 Berman 怀疑有误的最终答案；画面显示本次运行生成约 21,618 个 token，速度为每秒 44.7 个 token。长篇解释或快速生成不能证明正确性，一次量化模型本地测试也无法复现完整基准。

Berman 总结说，本地运行的小模型可能对专门的推理任务有用。视频简介披露，他是 LM Studio 的投资者。更广泛的比较仍限于研究人员报告的测试和这一次本地演示。