DeepSeek-R1：开放权重推理模型、基准结果与初步测试

摘要

30 秒看懂

2025 年 1 月，Matthew Berman 评析 DeepSeek-R1 和 R1-Zero，讨论该公司的强化学习方法，并在 DeepSeek 聊天界面中尝试三个提示词。他欢迎模型权重的开放，并将报告中的结果与 OpenAI 模型比较。基准结果由厂商报告，蒸馏模型的许可条件因基础模型而异，而这些少量演示不能证明模型具有普遍可靠性。

1基准比较Berman 查看 DeepSeek 报告的数学、编程和知识成绩，并与 OpenAI o1 比较。这些结果取决于具体测试及设置。
2蒸馏模型与许可DeepSeek 发布了基于 Qwen 和 Llama 的较小模型。使用时除了 R1 的发布条款，还要注意基础模型的许可。
3历史 API 定价2025 年发布时，缓存命中输入、缓存未命中输入和输出采用不同价格；视频中比较的价格低于其他展示的方案。
4三项非正式测试模型回答了字母计数谜题、弹珠场景和句末词语请求。这些例子用于说明，并非受控评估。
5R1-Zero 和 R1 的训练DeepSeek 报告称，R1-Zero 在初始阶段没有监督微调，而 R1 采用包含冷启动数据的多阶段方法。

要点建议

DeepSeek 发布了 R1 和 R1-Zero 的权重及技术报告，并报告在部分推理基准上取得了强劲成绩。
DeepSeek 的 R1 仓库和主要模型权重采用 MIT 许可，而基于 Qwen 和 Llama 的蒸馏模型还须遵守各自基础模型的许可条款。
R1-Zero 在初始阶段没有使用监督微调，而是采用强化学习；R1 加入了冷启动示例和后续训练，以改善可读性和表现。
所展示的是 2025 年 1 月的 API 价格，区分缓存命中输入、缓存未命中输入和输出，不应视为当前价格。
可见的推理轨迹是生成文本，即使最终答案正确，其中也可能包含错误。
三个示例提示词和部分基准成绩不能证明 R1 在所有方面都等同于或优于竞争模型。

主题Reasoning & test-time compute Open-weight models Reinforcement Learning Benchmarks AI cost & performance

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

发布、基准与许可

Berman 比较 DeepSeek 报告的基准结果，介绍开放权重和蒸馏模型。理解许可及基准声明时需要注意其适用范围。

2025 年 1 月，DeepSeek 发布了开放权重推理模型 R1。我很兴奋，因为它报告的成绩在多项测试中接近 OpenAI o1，而且在我展示的比较中，其托管 API 的价格更低。部分任务上的基准成绩相近，并不能证明两个系统在所有能力上都相当。

幻灯片 1 / 3DeepSeek 报告的基准比较发布图表在选定测试中比较不同模型；每一项结果都对应特定评估设置。

DeepSeek 的图表在数学、编程和通识评估中比较了 R1、o1、一个蒸馏版 R1、o1-mini 和 DeepSeek-V3。报告的成绩因基准而异：R1 在一些测试中领先，在另一些测试中落后。这些是开发者在特定提示词和设置下报告的测量结果，而非独立的综合排名（[技术报告](https://arxiv.org/abs/2501.12948)）。

我认为开放权重和技术报告对竞争及研究很有价值。我预测，开放权重推理模型将迅速跟上封闭模型。此次发布提供了模型权重并介绍了方法，但不应将“完全开源”理解为所有预训练数据，以及复现整个训练过程所需的每一项细节都已公开。

DeepSeek 还发布了六个使用 Qwen 和 Llama 基础模型、从 R1 蒸馏而来的较小模型，规模从 1.5B 到 70B 不等。报告的成绩很有前景，但这些小模型既不同于完整的 R1，彼此之间也有差异。DeepSeek 表示，其仓库和 R1 权重采用 MIT 许可；其[仓库](https://github.com/deepseek-ai/DeepSeek-R1)也列出了蒸馏版本所依赖的 Qwen 和 Llama 许可，因此使用前应检查相关条款。

价格与非正式测试

他查看发布时的 API 价格并测试三个提示词。可见推理过程出现过错误，但最终答案正确。

幻灯片 2 / 32025 年 1 月的 API 价格比较图表区分了缓存命中输入、缓存未命中输入和输出的 token 价格。

在 2025 年 1 月发布时，DeepSeek 列出的每百万输入 token 价格为缓存命中 0.14 美元、缓存未命中 0.55 美元，每百万输出 token 为 2.19 美元。我将其与当时展示的 o1 价格进行比较。这些是厂商的历史价格，并非当前报价；缓存条件、工作负载和所选模型都会影响比较结果（[DeepSeek 发布说明](https://api-docs.deepseek.com/news/news250120/)）。

我的第一个提示词询问“strawberry”中有几个字母 r。展示的推理过程反复推敲，还短暂给出了错误计数，但最终答案是三个。可读的推理轨迹是模型生成的文本，可以用来检查，但不应把它当作对模型内部类人思维过程的可靠描述。

接下来，我问一个弹珠场景：玻璃杯里有一颗弹珠，将杯子倒扣在桌上，然后把杯子移到微波炉里。模型考虑了弹珠是否能穿过杯口，并得出它留在桌上的结论。在通常的开口玻璃杯假设下，我认为这是一个好答案，不过具体结果取决于题目未说明的操作方式和几何尺寸。

我当时注意到，在我的测试中，聊天界面不能同时使用搜索和 DeepThink。随后我要求模型写十个以“apple”结尾的句子，展示的回答符合格式。这些少量例子只是非正式观察，并非系统比较，也不能证明模型处理类似提示词时一定可靠。

训练方法

Berman 概述 R1-Zero、R1、蒸馏和组相对策略优化，并将强化学习与 AlphaGo 相比较。

DeepSeek 论文介绍，R1-Zero 使用大规模强化学习训练，初始阶段没有监督微调。它从预训练基础模型出发，而非从零知识开始；作者报告了可读性差、语言混杂等问题。R1 加入冷启动数据和多阶段训练流程，以解决这些弱点。

我讨论了组相对策略优化：在所描述的设置中，该方法通过比较一组采样输出估计相对优势值，而不依赖单独训练的价值评估模型。这并不意味着训练没有使用奖励、评估或其他监督。DeepSeek 还使用 R1 生成的示例训练较小的 Qwen 和 Llama 模型。

论文展示了 R1-Zero 将推理与答案分区的提示词格式，还描述了一个模型通过进一步推理重新审视初始方法的案例。作者称之为“顿悟时刻”。这个例子展示了其训练设置下观察到的一种行为，并不能证明每次可见的修正都是正确的。

我将强化学习与 AlphaGo 在围棋领域的进展相比较。这里有一个重要区别：AlphaGo Zero 通过自我对弈学习，没有使用人类棋谱；而著名的第 37 手出现在更早的 AlphaGo 对阵李世石比赛中，并非 AlphaGo Zero 的比赛（[DeepMind](https://deepmind.google/blog/alphago-zero-starting-from-scratch/)）。我计划进一步研究论文，并亲自测试发布的模型。