QwQ-32B：更小的推理模型及其权衡

摘要

30 秒看懂

2025 年 3 月，Matthew Berman 评测了 Alibaba 采用 Apache 2.0 许可开放权重的推理模型 QwQ-32B。他讨论 Qwen 的训练方法、独立基准结果、Groq 推理演示和模型的实际局限。视频由 Browserbase 赞助，视频说明披露 Berman 是 Groq 的小额投资人。

1基准测试比较Qwen 的图表显示 QwQ-32B 与 DeepSeek-R1 在 AIME 2024 上接近，而编程、指令遵循和工具使用测试各有差异。
2基于结果的训练Qwen 描述了数学答案验证和代码执行测试，之后又增加一个面向通用能力的强化学习阶段。
3编程测试弹球模拟程序能运行，但碰撞行为并不准确；Berman 随后要求托管模型修改代码。
4独立评估Artificial Analysis 报告 QwQ 在 GPQA Diamond 上得分 59.5%，R1 为 71%；QwQ 在 AIME 上得分 78%。
5硬件与效率原生数据格式与混合专家架构使得单凭参数量进行直接比较变得复杂。

要点建议

QwQ-32B 在部分公开基准测试中接近 DeepSeek-R1，但一项独立科学基准显示二者存在明显差距。
Qwen 先针对数学和编程使用基于结果的强化学习，再通过一个阶段训练更广泛的能力。
Groq 的一次演示达到约每秒 450 个 token，这一结果只适用于该托管配置。
原生 BF16 权重估计约占 65 GB；本地部署还取决于可用内存、量化方式和额外开销。
DeepSeek-R1 采用混合专家架构，因此仅看总参数量无法反映每个 token 的计算量。

主题Reasoning & test-time compute Reinforcement Learning Open Source Local inference 评估与可观测性

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

紧凑的推理模型

Berman 介绍 QwQ-32B 和 Qwen 的基准测试图表。他认为更小的开放权重模型让推理能力更容易获得。

Qwen 的 QwQ-32B 是一个拥有 320 亿参数的推理模型，以 Apache 2.0 许可开放权重。它的吸引力在于体积远小于拥有 6710 亿参数的完整 DeepSeek-R1，同时在多项公开测试中接近后者。体积更小并不意味着它能在每台电脑上轻松运行：内存、量化和推理配置都很重要。

幻灯片 1 / 4Qwen 的基准测试比较图表比较 QwQ-32B 和 DeepSeek-R1 在数学、编程、指令遵循和函数调用方面的表现。

Qwen 的图表显示，QwQ 在 AIME 2024 上得分 79.5，R1 得分 79.8；QwQ 的 LiveCodeBench 成绩稍低。在图表中的 LiveBench、IFEval 和 BFCL 比较里，QwQ 得分更高。这些是选定的基准结果，并不意味着模型在所有任务上都胜出。

团队强调强化学习，这也是我讨论过的 OpenAI 和 DeepSeek 推理模型的核心方法。Qwen 以一个强大的基础模型为起点，训练了推理以及包括工具使用在内的智能体相关能力。Qwen 的[发布文章](https://qwenlm.github.io/blog/qwq-32b/)描述了两个阶段，而不是一个笼统的训练步骤。

强化学习训练方法

Qwen 描述了对数学和代码进行基于结果的验证，随后采用更广泛的奖励信号。Berman 比较了结果奖励与过程奖励。

第一阶段从冷启动检查点出发，奖励最终结果。原则上我更倾向于过程奖励：即便最终答案错误，模型也能因有用的中间步骤获得反馈。使用结果奖励时，即使大部分推理正确，最终失败仍可能带来负面信号。

在数学任务上，团队使用验证器检查最终解答；在编程任务上，代码执行服务器根据预定义测试用例检验生成的程序。Qwen 接着加入第二个强化学习阶段，使用通用奖励模型和基于规则的验证器。团队报告说，指令遵循、与人类偏好对齐和智能体表现得到改善，而数学和编程能力没有显著下降。

幻灯片 2 / 4Qwen 的两阶段强化学习方法发布文章介绍了数学与代码验证，以及随后的通用奖励信号。

基础模型与智能体

Berman 推测更强的基础模型与强化学习相结合的潜力，并解释工具使用为何对智能体编程重要。

Qwen 认为，更强的基础模型结合更多强化学习计算资源，可以推进推理能力。我很期待将这种方法用于 GPT-4.5 等更强的基础模型。我曾猜测 o3 Pro 可能已经采用了类似方法，但那只是当时的推测，并非对其训练方式的确认。

Qwen 还表示，正在探索智能体、强化学习和更长时间跨度的推理。这与我的智能体编程工作流有关：工具和函数调用能力会影响模型在 Cursor 等编辑器中的表现。编辑器是否支持某个模型及其工具，与模型的一般推理得分是两个不同问题。

模拟程序与快速推理

模型生成弹球模拟程序，但碰撞效果不准确。Berman 在 Groq 上要求它修正，并观察到快速输出。

我让 QwQ 编写一个 Python 模拟程序，展示小球在旋转的六边形内受重力和摩擦力影响而弹跳。免费的 Hugging Face Space 显示模型思考了很长时间，最终返回可以运行的程序，但小球与墙壁的碰撞并不正确。快速模型的价值在于，我可以在第一次尝试的基础上继续迭代。

我把之前的代码粘贴到 Groq 托管的 QwQ 中，要求它修正碰撞。演示期间，我观察到约每秒 450 个 token，后续迭代因此显得快得多。这个数字只描述一次托管运行，并不保证本地或其他环境都能达到同样速度。视频由 Browserbase 赞助，视频说明披露我是 Groq 的小额投资人。

独立测试与硬件权衡

独立科学和数学测试成绩让 Qwen 的比较更复杂。实际使用还要考虑模型格式、混合专家计算方式和上下文长度。

Artificial Analysis 的结果为发布时的图表提供了有用的对照。在它的初步评估中，QwQ 的 GPQA Diamond 得分为 59.5%，DeepSeek-R1 为 71%，Gemini 2.0 Flash 为 62%。QwQ 在 AIME 2024 上得分 78%，接近 Qwen 报告的结果，并在该次特定评估中领先 R1。不同基准和测试设置之间的差异很重要。

幻灯片 3 / 4Artificial Analysis 的独立结果早期独立测试显示，GPQA Diamond 的差距大于 AIME 2024。

QwQ 约有 320 亿参数；R1 总参数为 6710 亿，混合专家架构下每个 token 约激活 370 亿参数。Artificial Analysis 估算，QwQ 原生 BF16 权重约占 65 GB，R1 原生 FP8 权重约占 671 GB。这些是权重存储量估算，并非完整的运行需求；量化版本可以降低内存需求。在原生支持 FP8 的硬件上，R1 虽然总规模更大，每次前向计算的有效计算量却可能更低。

幻灯片 4 / 4参数、格式与硬件比较区分了总参数与激活参数，并指出原生权重格式的差异。

我也看到了局限：按照我在 2025 年比较的标准，约 13.1 万 token 的上下文窗口并不算特别大，而且模型经常输出大量推理过程，会消耗很多 token。Chain of draft 等技术可能促使模型输出更精简的中间内容，但是否有帮助取决于任务。开放权重和多种托管选择提供了实验空间，包括编辑器和工具支持方面的尝试。