Qwen3：开放权重、可调整推理与工具使用

摘要

30 秒看懂

Matthew Berman 考察了 Qwen3 的混合专家和稠密模型、思考模式、工具使用演示及其报告的训练方法。他称赞该系列的基准成绩，并在本地运行了一个较小模型，同时说明了所用硬件。这些比较和演示针对所展示的模型与设置，并不能保证它们在所有任务上的表现。

1基准比较Qwen 发布时的数据将旗舰模型与同期模型在所选数学、编程和工具使用测试中进行比较。
2思考预算Qwen 介绍了思考和非思考模式，并展示在所选任务上更大预算带来的更高分数。
3模型规模此次发布的模型从 6 亿参数稠密模型到 2350 亿参数混合专家模型不等。
4工具与智能体视频展示模型使用工具创建图表和整理文件；这些只是说明性的演示。
5训练与合成数据Qwen 表示，早期模型帮助提取和改进文档文本，并生成数学及代码数据。

要点建议

Qwen3 首次发布包括两个混合专家模型和六个稠密模型，权重采用 Apache 2.0 许可证发布。
模型支持思考和非思考模式，可调整推理预算，并在延迟与质量之间作出相应取舍。
Qwen 报告其旗舰模型在所选 2025 年基准测试中具有竞争力；模型排名取决于评估方式和任务。
演示展示了为绘制图表和整理文件而进行的工具调用，但不能证明所有智能体工作流程都可靠。
团队报告使用约 36 万亿个预训练 token 和四阶段后训练流程。
Berman 的本地速度演示使用一台配备 96 GB 内存的 Mac Studio，片段没有测试生成的游戏。

主题Open-weight models 模型与训练 Reasoning & test-time compute 智能体工程 Benchmarks

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

基准测试与思考模式

Berman 回顾 Qwen 报告的成绩及其思考和非思考模式，并解释控制推理力度为何可能有用。

2025 年 4 月，Qwen 发布了开放权重语言模型系列 Qwen3。团队报告的结果显示它与包括 Gemini 2.5 Pro 在内的同期前沿模型相比表现出色，令我印象深刻。这些分数针对发布时所选的基准和配置，并不能说明它在所有任务上都与其他模型相当，也不能确立持久的排名。

幻灯片 1 / 7Qwen 发布时的基准表团队将 Qwen3 模型与同期若干模型在所选任务上进行比较。

旗舰模型 Qwen3-235B-A22B 总共有 2350 亿参数，通过混合专家架构每个 token 激活 220 亿参数。Qwen 的表格报告它在 AIME 2024 和 2025 上分别得到 85.7 和 81.5 分，而所列 Gemini 模型分别为 92 和 86.7 分。在选定的 LiveCodeBench 和 Codeforces 比较中，Qwen 旗舰模型得分略高。

团队表示，它针对编程和智能体工作优化了 Qwen3。表格报告旗舰模型在 BFCL 函数调用测试中得分为 70.8，320 亿参数的稠密模型为 70.3，而所列 Gemini 配置为 62.9。这些是开发者在特定评估设置下报告的结果，并不能保证每个应用都能正确调用工具。

我还考察了 30B-A3B 混合专家模型，它每个 token 激活 30 亿参数。Qwen 将它与几个早期模型比较，并报告相对于其规模而言表现强劲。激活参数数量只是部署的一个因素：总权重、内存带宽、量化和服务系统也会影响模型能否装入设备以及运行速度。

幻灯片 2 / 7思考预算与基准得分Qwen 的图表展示分配的思考 token 与四项评估得分之间的关系。

我觉得有趣的一项功能是混合思考设计。用户可以为较复杂任务选择思考模式，或选择非思考模式以更快获得答案，还可以配置思考预算。Qwen 的图表显示，在所选数学、编程和科学测试中，预算增加时分数有所提高；这一观察趋势并不能保证每个回答都会改善。

在编程时，我可能希望模型为困难功能或测试设计投入更多推理，而对一串简单命令减少推理。调整力度的能力有助于平衡延迟和质量。具体如何使用这一控制取决于集成模型的软件；演示没有证明模型会自动优化混合请求中的每一步。

模型系列与工具演示

此次发布包括多个规模的稠密和混合专家模型。演示展示了使用工具绘制图表和整理文件。

幻灯片 3 / 7Qwen3 模型规模表格列出了稠密和混合专家版本及其上下文长度。

首次发布包含两个混合专家模型和六个稠密模型。235B-A22B 和 30B-A3B 各有 128 个专家，每个 token 激活其中 8 个。Qwen 为这两个模型以及 8B、14B 和 32B 稠密版本列出 128K 上下文长度，为更小的稠密版本列出 32K。

稠密模型从 Qwen3-0.6B，即 6 亿参数开始，最大达到 320 亿参数。我在视频中口误，将 6 亿等同于 60 亿；该模型实际是 0.6B。团队以 Apache 2.0 许可证发布权重，而实际使用仍取决于许可证条款及运行时使用的工具。

Qwen 演示了一个 32B 模型在处理请求时调用工具，获取 GitHub 星标数量并创建柱状图。界面展示了模型输出和工具调用交替进行，随后出现图表。画面中的运行结果也讨论了一个文件路径错误，因此应将其视为说明性演示，而非经过独立验证、毫无瑕疵的工作流程。

幻灯片 4 / 7工具调用绘图演示展示的运行调用工具并生成图表，画面中的输出也讨论了一个文件路径错误。

第二个演示要求智能体按类型整理桌面文件。展示的流程列出目录、创建文件夹并移动文件。它展示了模型如何通过可用工具操作环境，但这只是一个例子；使用此类系统时，权限、错误和意外更改仍然重要。

预训练与后训练

Qwen 介绍了训练数据、合成样本及分阶段训练过程。Berman 逐一讲解四个后训练阶段和蒸馏。

Qwen 报告称，预训练使用约 36 万亿个 token，覆盖 119 种语言和方言；相比之下，Qwen2.5 使用了 18 万亿个。团队说它收集了网页和文档数据，使用 Qwen2.5-VL 提取文本，再用 Qwen2.5 改进提取内容。原文称其为“类似 PDF”的文档，但没有完整定义格式范围。

幻灯片 5 / 7预训练数据与阶段Qwen 概述了数据来源、合成数据和上下文长度训练阶段。

团队还说 Qwen2.5-Math 和 Qwen2.5-Coder 生成了合成教材、问答对和代码片段。三个预训练阶段首先在 4K 上下文长度下使用超过 30 万亿个 token，随后加入 5 万亿个包含更多知识密集材料的 token，最后使用长上下文数据将训练长度扩展到 32K。较大模型宣传的 128K 上下文是另一项部署规格。

幻灯片 6 / 7四个后训练阶段图示展示了推理训练、模式融合、通用强化学习和蒸馏。

后训练方面，Qwen 描述了四个阶段。首先，它用数学和编程等领域的长推理示例进行微调；其次，使用基于规则的奖励进行面向推理的强化学习。这一说明介绍了团队的方法，本身并不能证明生成的推理轨迹在多大程度上忠实反映内部计算。

第三，团队利用改进后的模型生成推理与指令数据的混合内容，融合思考和非思考能力。第四，它在超过 20 类任务上进行通用强化学习，包括遵循指令与格式、智能体能力等。图示还展示了针对较小版本的强到弱蒸馏。

比较与本地测试

Berman 回顾所选独立基准成绩，并在 Mac Studio 上演示本地模型。片段在测试生成的游戏能否运行前结束。

Qwen 列出了 LM Studio、Ollama、MLX、llama.cpp 和 KTransformers 等本地使用工具，前提是满足硬件要求。我使用 LM Studio；视频说明披露我是该公司的小额投资者。我将 Qwen 的表格与 Llama 4 Maverick 比较，看到 Qwen 在大多数所列任务上表现更强，但也有例外，所选基准仍存在通常的局限。

幻灯片 7 / 7独立的 GPQA 比较Artificial Analysis 展示了所选模型在 GPQA Diamond 上的历史比较。

Artificial Analysis 也发布了早期的 GPQA Diamond 比较。画面中的图表显示，Qwen3-235B-A22B 得分约 70%，低于 Gemini 2.5 Pro 的 84%，并接近其他几个模型。这项评估与 Qwen 发布时的表格是分开的，单一科学推理基准无法衡量模型的全部能力。

最后，我在本地加载 Qwen3-30B-A3B，并要求它用 Python 编写贪吃蛇游戏。在我的 M3 Ultra、96 GB 内存 Mac Studio 上，回答看起来生成得很快。片段展示的是生成过程，并没有完成游戏测试，因此它展示了某一种配置的响应速度，而不能证明代码正确或其他机器上的表现。