DeepSeek R1 0528：基准提升与两次编程测试

摘要

30 秒看懂

2025 年 5 月，Matthew Berman 评测了开放权重的 DeepSeek-R1-0528。与原版 R1 相比，该更新公布的推理和编程分数有所提高。他将 DeepSeek 公布的基准和 Artificial Analysis 当时的排名，与两次非正式编程测试进行对照。生成的魔方程序在修复 Three.js 初始化问题后显示了魔方，但旋转不正确；贪吃蛇游戏先报错，修复后又立即结束。尽管公布的基准有所提升，Berman 对这些测试结果感到失望。排名、服务商速度和产品细节反映的是视频发布时的情况。

1后训练更新DeepSeek 将此次发布描述为一次小版本升级，采用了更多计算资源和后训练优化。Berman 则认为这对开放权重模型而言是一次重大进步。
2公布的基准分数提高DeepSeek 报告 AIME 2025 的 pass@1 从 70.0 升至 87.5，GPQA Diamond 从 71.5 升至 81.0。这些是厂商按其自身评测方案报告的结果。
3独立指数比较Artificial Analysis 报告，该模型在其当时由七项评测组成的智能指数中从 60 升至 68，与图中指定的 Gemini 2.5 Pro 预览版持平，落后于 o3。
4魔方测试生成的程序最初只有控件，没有魔方。Berman 修复 Three.js 初始化问题后，魔方显示出来，但打乱和旋转仍不正常。
5贪吃蛇测试未达预期这份 1,117 行的程序最初出现名称错误。Berman 要求修复后，游戏虽然显示出来，却立即结束。

要点建议

DeepSeek 表示，在指定评测设置下，R1 0528 在多项推理和编程基准中优于前代。
Artificial Analysis 在 2025 年采用七项评测的指数中，更新版 R1 得分从原版的 60 升至 68。
更好的结果可能伴随更多推理 token，但这也会增加推理工作量。
尽管公布的基准有所提升，Berman 的两次非正式编程测试仍暴露出问题。
公开模型权重并不意味着托管推理或运行模型所需的硬件免费。

主题模型与训练 Benchmarks Open-weight models Reasoning & test-time compute Software engineering

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

R1 更新与基准成绩

Berman 介绍 2025 年 5 月的发布，并将 DeepSeek 报告的基准成绩与其他模型比较。模型卡介绍了后训练方面的改进，并公布评测设置。

DeepSeek 发布了其推理模型的更新版 DeepSeek-R1-0528。模型权重先行发布，随后才有更多关于改动的信息。DeepSeek 称这是一次小版本升级，但公布的提升看起来相当显著。

DeepSeek 将这次更新归因于更多的计算资源和后训练中的算法优化。公司表示，模型在数学、编程和一般逻辑方面有所提高，整体表现正接近 o3 和 Gemini 2.5 Pro。模型权重按 MIT 许可证提供；运行模型仍需算力，托管服务也可能收取推理费用。

幻灯片 1 / 8DeepSeek 基准比较发布图表比较了 R1 0528、早期 R1 和部分专有模型在推理与编程基准上的表现。

基准图表比较了旧版 R1 和新版本。在 [DeepSeek 模型卡](https://huggingface.co/deepseek-ai/DeepSeek-R1-0528)中，AIME 2024 的 pass@1 从 79.8 升至 91.4，AIME 2025 从 70.0 升至 87.5，GPQA Diamond 从 71.5 升至 81.0，LiveCodeBench 从 63.5 升至 73.3。Humanity’s Last Exam 从 8.5 升至 17.7。模型卡称，对于需要采样的基准，每个问题生成 16 个回答来估计 pass@1；HLE 评测仅使用纯文本提示。

图中新版 R1 在 AIME 2024 上接近 o3，在 AIME 2025、GPQA Diamond 和 LiveCodeBench 上略微落后，在 Aider 上差距更大。具体比较取决于所展示的评测和配置；这些分数并不能证明模型在所有用途上都可以互换。Gemini 2.5 Pro 是我非常看好的编程模型，它在图中大多数基准上落后于 o3，让我感到惊讶。

独立评测与推理成本

他查看 Artificial Analysis 当时的指数和 token 消耗，并认为开放权重模型与专有模型的差距正在缩小。

幻灯片 2 / 8Artificial Analysis 评测摘要独立评测机构报告了更新版模型当时的指数变化及比较结果。

Artificial Analysis 也独立评测了此次发布。其 2025 年 5 月的智能指数当时由七项评测组成，新版 R1 得分 68，原版为 60；它与图中所示的 Gemini 2.5 Pro 预览版持平，落后于 o3。该机构表示，这 8 分的涨幅与其 o1 和 o3 分数之间的差距相同。这些排名反映的是当时该指数下的结果。

我将其理解为 R1 的更新，而不是新架构：模型总参数量为 6710 亿，活跃参数为 370 亿。Artificial Analysis 还报告了其编程指数的显著提升。在我的初步测试中，模型愿意为魔方或贪吃蛇等任务输出大量代码，数量可与 Gemini 2.5 Pro 相比。

新版本也使用了更多推理 token。Artificial Analysis 报告称，该模型在智能指数评测中使用了 9900 万个 token，比原版 R1 多约 40%；在这次比较中，Gemini 2.5 Pro 用得更多。实际上，新模型花费更多 token 来思考，评估结果背后的工作量和成本时要考虑这一点。

在我看来，更大的趋势是开放权重模型与专有模型之间的差距正在缩小。Artificial Analysis 的指数也显示，中国实验室正接近美国实验室。DeepSeek 表示后训练优化和更多算力有助于提高推理能力；我将此次发布理解为从现有预训练模型中挖掘出更多能力。图表中，1 月的 R1 得分 60，5 月更新版为 68；Llama 4 Maverick 的位置让我失望。

幻灯片 3 / 82025 年 5 月智能指数图表展示了历史比较所用的七项评测和各模型得分。

测试交互式魔方

Berman 要求生成一个 Three.js 魔方模拟器，并修复了库初始化问题。显示出来的魔方仍无法正确打乱和旋转。

为了动手测试，我打开 DeepThink，使用与测试其他模型相同的提示词：编写完整的 HTML 和 JavaScript 程序，借助 Three.js 制作最大可达 20 × 20 × 20 的交互式魔方，支持动态调整大小、彩色面、相机控制和转动各层。在我之前的测试中，两个 Gemini 2.5 Pro 版本完成这项任务都特别出色。

新版 R1 思考了 328 秒才完成回答。可见的推理过程考虑了贴纸位置、网格和性能。运行结果起初只显示设置，没有魔方；在本地尝试也是如此。我发现 Three.js 没有初始化，修复后魔方就显示出来了。

幻灯片 4 / 8修复初始化问题前的魔方模拟器生成的界面在首次运行时显示了控件，但没有魔方。

初看结果很有希望，但打乱和还原的表现让我失望。魔方没有正确打乱，似乎还自动还原了；旋转和物理效果都没有按预期工作。在这项特定测试中，我仍更喜欢 Gemini 2.5 Pro 的结果。

服务商比较与贪吃蛇游戏

在第二个程序生成期间，Berman 回顾模型的历史进展和服务商速度。贪吃蛇游戏先报错、随后立即结束，让他对有限的实际测试结果不太满意。

接下来，我要求它制作一个进阶版贪吃蛇游戏，包括不同食物、道具和传送功能。等待生成时，我查看 Artificial Analysis 的历史图表：推理模型出现时有一次重大跃升，原版 R1 推出时又有一次，此次更新则带来进一步提升。

幻灯片 6 / 8当时的推理服务商速度Artificial Analysis 比较了 2025 年 5 月各服务商每秒输出的 token 数。

视频中展示的服务商图表把 Fireworks 排在首位，这个 R1 版本的输出速度为每秒 253 个 token。我还讨论了不同服务商的上下文限制和价格。这些数字描述的是 2025 年 5 月可用的服务与测量结果，并非当前排名或速度保证。

贪吃蛇请求思考了 22 秒，随后输出了长达 1,117 行的代码。第一次运行因“player_snake is not defined”错误而失败。我把错误反馈给 DeepSeek 并尝试修订版本；游戏显示出来了，但立即结束。这只是几次非正式测试，但尽管基准分数的跃升令人期待，我对模型在这里实际完成的结果并不满意。