DeepSeek V3.2：推理、稀疏注意力与智能体训练

DeepSeek V3.2 已经发布，我认为它是开放模型的又一个重要时刻。DeepSeek 报告称，其计算量更高的模型在 2025 年国际数学奥林匹克和国际信息学奥林匹克中达到金牌级别表现。这些是开发者报告的评估结果，不能确立该模型在每项任务上都领先所有封闭模型。

DeepSeek 宣布 V3.2 和 V3.2-Speciale 是以推理为先的模型。发布帖子将 V3.2 描述为 V3.2-Exp 的后继版本，可通过应用、网页和 API 使用；Speciale 是计算量更高的版本，推出时通过 API 提供。帖子还称 Speciale 当时不支持工具使用。

公司的基准表将这些模型与 GPT-5 High、Gemini 3.0 Pro 和 Kimi K2 Thinking 比较；我注意到其中没有 Claude Opus 4.5。在 AIME 2025 上，表格报告 GPT-5 High 为 94.6、Gemini 3.0 Pro 为 95.0、V3.2 Thinking 为 93.1、Speciale 为 96.0。

括号中的数字是使用的推理词元数。在所展示的例子中，DeepSeek 的标准思考模型使用的词元少于 Speciale，而 Speciale 为获得更高分数花费了更多词元。比较性能和成本时，这些额外的推理计算量很重要。

在 LiveCodeBench 上，展示的结果为 GPT-5 High 84.5、V3.2 Thinking 83.3、Speciale 88.7。在 GPQA Diamond 上，表格显示 GPT-5 High 和 Speciale 均为 85.7，Gemini 3.0 Pro 为 91.9。这些是选定的基准测试，不能保证每项实际任务都保持相同排序。

DeepSeek 的报告介绍了几项技术变化。第一项是 DeepSeek Sparse Attention（DSA）；作者表示，该机制在保持长上下文场景表现的同时，大幅降低了注意力计算复杂度。更高效的注意力可以降低处理长上下文的成本。

传统全注意力随着序列增长会变得昂贵，因为其注意力计算呈二次方增长。DeepSeek 称核心注意力复杂度从 O(L²) 降到 O(L × K)，其中 L 是序列长度，K 是选中词元的数量。节省的程度取决于 K 的值，这并不意味着模型推理的每个部分都变成线性。

第二项是可扩展的强化学习框架和更多后训练算力。DeepSeek 表示，V3.2 在其评估的推理任务上与 GPT-5 表现相当，并报告 Speciale 在 2025 年 IMO 和 IOI 上达到金牌级别。这些比较反映的是开发者的评估条件。

第三，DeepSeek 构建了大规模合成智能体任务的流水线。团队生成旨在结合推理与工具使用的训练场景，为强化学习提供数据，而非完全依赖人工创建的示例。目标是改善交互环境中的泛化能力和指令遵循能力。

DeepSeek 的报告称，后训练算力预算超过预训练成本的 10%。这是与预训练算力的比较，不是说强化学习使用了整个项目预算的 10%。公司还报告为智能体任务生成了 1,800 多个不同环境和 85,000 个复杂提示词。

稀疏注意力的优势在于，主要注意力操作不再按二次方增长，而是按 L × K 比例增长。Berman 将实际目标描述为控制更长序列的成本，但实际运行时间和费用仍取决于实现方式、硬件及其他模型操作。

DeepSeek 报告称，V3.2 在工具使用基准上缩小了开放模型与封闭模型的差距，但在该评估中仍落后于前沿系统。展示的论文还指出，冗余的自我验证可能产生很长的轨迹，在某些任务中超过 128K 上下文限制。

该混合专家模型总参数为 6,710 亿，推理时激活 370 亿参数。我估计 FP8 权重约需 700 GB 显存，BF16 约需 1.3 TB；这说明活跃参数相对较少并不能消除保存完整模型所需的内存。该版本以 MIT 许可证开放权重；Speciale 在发布时的可用范围更有限。